かえるのプログラミングブログ

プログラミングでつまずいたところとその解決策などを書いていきます。

BERT

BERT で簡単に日本語の文章の特徴ベクトルを取得できるクラス作った

小ネタです。 表題の通り、日本語の特徴ベクトルを5秒で作れると嬉しいなと思ってまとめてみました。 成果物 https://github.com/osuossu8/Utils/blob/master/text_preprocess/bert_sentence_vectorizer.py 参考にさせていただいたページ huggingface/transf…

BERT の事前学習タスク NSP と SOP の精度差を日本語の公開コーパスを用いて簡単に検証した。

こんにちはかえるるるです。 【この記事は自然言語処理アドベントカレンダー2019の 13日目の記事です。(https://qiita.com/advent-calendar/2019/nlp)】 2018年に BERT が出現して以来、今日まで BERT, XLNet, RoBERTa, ALBERT, T5 と Transformer ベースの…