ごきげんよう。かえるるるです もう2019年もあと数日で終了しますので、いくつかの観点で振り返ってみようと思います。2019年は私の人生にとって激動の一年と言っても過言ではありません。それくらい濃い一年でした。 1. kaggle 私の2019年を語る上で kaggle…

こんにちはかえるるるです。 【この記事は自然言語処理アドベントカレンダー2019の 13日目の記事です。(https://qiita.com/advent-calendar/2019/nlp)】 2018年に BERT が出現して以来、今日まで BERT, XLNet, RoBERTa, ALBERT, T5 と Transformer ベースの…

おはようございます、かえるるるです。 【 こちらは 「kaggle Advent Calendar 2019」 の6日目の記事です https://qiita.com/advent-calendar/2019/kaggle 】 皆さま、楽しい kaggle life を送れておりますでしょうか。 kaggle には Competition tier の他に…

こんばんは、kaerururu (@kaeru_nantoka) です。 今回は、PyTorch lightening を使ってみたいと思ったので 以前公開したカーネル をベースに PyTorch lightening に書き換えたものを公開したのでその紹介をします。 目次 本ポストのモチベーション ソースコ…

こんばんは、kaerururu (@kaeru_nantoka) です。 今回は、エルピクセルさんにてありました、[画像処理&機械学習] 論文LT会 #5 https://lpixel.connpass.com/event/138687/ に LT発表者として参加し、2019年の目標であった 「初LT をやる」という目標を達成で…

こんばんは、kaerururu (@kaeru_nantoka)です。 今回は、Distillation the Knowledge in a Neural Network (2015) [ https://arxiv.org/pdf/1503.02531.pdf ] を読みました。 そして、kaggle freesound2019 コンペで実際に使ったデータとモデルを用いて蒸留…

こんばんは、kaerururu (@kaeru_nantoka) です。 今回は、kaggle meetup #6 での tks さんの発表にもありました、「 (batch 内で) batch 毎に padding する」の実装にプラスして ID列を長さでソートしたものを batch 内で padding できるようにした実装を公…

こんばんは、kaerururu (@kaeru_nantoka) です。 今回は、3人チームで参加した先日 Freesound Audio Tagging 2019 にて２枚目の金メダルを獲得し、Kaggle Master になることができたので私が kaggle (というか機械学習) を始めてから今までの 10ヵ月を振り返…

こんばんは、かえるるる(@kaeru_nantoka)です。今回は、興が乗ったのでみんな大好き某くし氏激推しの shell 'xonsh' のセットアップを行いました。控えめにいってサイコーです。 xonshrc は基本的に某ブログのコピペで問題ないと思いますが、私の環境では丸…

こんばんは、かえるるる(@kaeru_nantoka)です。 今日は、「 Sports Analyst Meetup #2 (#spoana)」に参加してきました。 こちらのイベントに参加(聴講)するにあたって、目標を１つ自分に課しました。その観点に沿って聞いてメモしたものの中から抜粋して、そ…

こんばんは、kaerururu (@kaeru_nantoka) です。 今回は、5人チームで参加した Kaggle の通称ペットコンペで準優勝し、金メダルを無事獲得できたのでそのポエム簡単な経緯と役割分担のような話を綴っていきます：） 技術的な話（解法など）は、kaggle の dis…

こんばんは、かえるるる(@kaeru_nantoka)です。今回は、fastText の公式ページだと説明が不親切だなーと感じたので 「pretrained の fasttext を GoogleColaboratory で利用する」というタイトルで手順を備忘録として残しておきます。 ソースは例のごとく Gi…

こんばんは、かえるるる(@kaeru_nantoka)です。今回は、テーブルデータに Neural Network (以下 NN) を応用してみる Tutorial として PyTorch で Titanic 問題に取り組んでみたので、そのソースコードと説明をご紹介できればと思います。 今回のソースコード…

かえるるる(@kaeru_nantoka)です。 今回は、「日本語 ELMo の Tutorial 」と題して、私が来たる 4月より join するストックマーク社が公開した（一応掲載許可はもらいました） pre-trained model ELMo の日本語 ver を Google Colaboratory で扱う手順をご紹…

こんばんは、かえるるる(@kaeru_nantoka)です。 先日、10ヶ月勤めたSES企業に辞意を伝えました。 そして4月からは、ストックマーク株式会社（https://stockmark.ai/ ）にて、NLPを応用した機械学習エンジンを開発する機械学習エンジニアとして参画することに…

かえるるる（@kaeru_nantoka）です。 今回はかねてより segmentation task に取り組みたいなあ と思っていた私が、手頃なデータ落ちてないかな〜とネットサーフィンをしていたところ tarファイルで 480MB という頑張ったらローカルで云々できそうなデータセ…

かえるるる(@kaeru_nantoka)です。今回は julia 言語を Jupyter notebook 上で扱えるよう環境構築をしたので備忘として残しておきます。 環境 ** PC : MacBook Air OS : macOS High Sierra ver 10.13.6 参考URLs ** julia-doc-ja https://julia-doc-ja.readt…