小ネタです。 表題の通り、日本語の特徴ベクトルを5秒で作れると嬉しいなと思ってまとめてみました。 成果物 https://github.com/osuossu8/Utils/blob/master/text_preprocess/bert_sentence_vectorizer.py 参考にさせていただいたページ huggingface/transf…

表題の内容の自分用の備忘録です。 1 ファイルの文字コード設定が原因のケース ( i ) yum install nkf -y nkf -g sample.txt nkf -w --overwrite sample.txt ( i i ) import sys, codecs import io # 3.6 =< 3.x sys.stdout = io.TextIOWrapper(sys.stdout.b…