かえるのプログラミングブログ

プログラミングでつまずいたところとその解決策などを書いていきます。

エルピクセルさんの論文読み会で初LTをした感想。

LT

こんばんは、kaerururu (@kaeru_nantoka) です。 今回は、エルピクセルさんにてありました、[画像処理&機械学習] 論文LT会 #5 https://lpixel.connpass.com/event/138687/ に LT発表者として参加し、2019年の目標であった 「初LT をやる」という目標を達成で…

モデルの蒸留を実装し freesound2019 コンペで検証してみた。

こんばんは、kaerururu (@kaeru_nantoka)です。 今回は、Distillation the Knowledge in a Neural Network (2015) [ https://arxiv.org/pdf/1503.02531.pdf ] を読みました。 そして、kaggle freesound2019 コンペで実際に使ったデータとモデルを用いて蒸留…

単語 ID 列を長さでソートしてミニバッチ内で padding する。

こんばんは、kaerururu (@kaeru_nantoka) です。 今回は、kaggle meetup #6 での tks さんの発表にもありました、「 (batch 内で) batch 毎に padding する」の実装にプラスして ID列を長さでソートしたものを batch 内で padding できるようにした実装を公…

Kaggle Master になりました!

こんばんは、kaerururu (@kaeru_nantoka) です。 今回は、3人チームで参加した先日 Freesound Audio Tagging 2019 にて2枚目の金メダルを獲得し、Kaggle Master になることができたので私が kaggle (というか機械学習) を始めてから今までの 10ヵ月を振り返…

Xonsh はじめました。

こんばんは、かえるるる(@kaeru_nantoka)です。今回は、興が乗ったのでみんな大好き某くし氏激推しの shell 'xonsh' のセットアップを行いました。控えめにいってサイコーです。 xonshrc は基本的に某ブログのコピペで問題ないと思いますが、私の環境では丸…

「 Sports Analyst Meetup #2 (#spoana)」に参加してきました。~ 安西先生 LTがしたいです。 ~

こんばんは、かえるるる(@kaeru_nantoka)です。 今日は、「 Sports Analyst Meetup #2 (#spoana)」に参加してきました。 こちらのイベントに参加(聴講)するにあたって、目標を1つ自分に課しました。その観点に沿って聞いてメモしたものの中から抜粋して、そ…

PetFinder.my Adoption Prediction で準優勝しました!

こんばんは、kaerururu (@kaeru_nantoka) です。 今回は、5人チームで参加した Kaggle の通称ペットコンペで準優勝し、金メダルを無事獲得できたのでそのポエム簡単な経緯と役割分担のような話を綴っていきます:) 技術的な話(解法など)は、kaggle の dis…

Google Colaboratory で fastText の pretrained model のSetup をする。

NLP

こんばんは、かえるるる(@kaeru_nantoka)です。今回は、fastText の公式ページだと説明が不親切だなーと感じたので 「pretrained の fasttext を GoogleColaboratory で利用する」というタイトルで手順を備忘録として残しておきます。 ソースは例のごとく Gi…

PyTorch NN を用いて Titanic コンペに挑戦する。

こんばんは、かえるるる(@kaeru_nantoka)です。今回は、テーブルデータに Neural Network (以下 NN) を応用してみる Tutorial として PyTorch で Titanic 問題に取り組んでみたので、そのソースコードと説明をご紹介できればと思います。 今回のソースコード…

日本語版 ELMo のチュートリアル (2019/02/23)

かえるるる(@kaeru_nantoka)です。 今回は、「日本語 ELMo の Tutorial 」と題して、私が来たる 4月より join するストックマーク社が公開した(一応掲載許可はもらいました) pre-trained model ELMo の日本語 ver を Google Colaboratory で扱う手順をご紹…

営業マンが1年でSEになって機械学習エンジニアに転職する話

こんばんは、かえるるる(@kaeru_nantoka)です。 先日、10ヶ月勤めたSES企業に辞意を伝えました。 そして4月からは、ストックマーク株式会社(https://stockmark.ai/ )にて、NLPを応用した機械学習エンジンを開発する機械学習エンジニアとして参画することに…

VOC2007 dataset で遊ぶ① (2019/01/26)

かえるるる(@kaeru_nantoka)です。 今回はかねてより segmentation task に取り組みたいなあ と思っていた私が、手頃なデータ落ちてないかな〜とネットサーフィンをしていたところ tarファイルで 480MB という頑張ったらローカルで云々できそうなデータセ…

julia 言語に入門してみた。 (2019/1/11)

かえるるる(@kaeru_nantoka)です。今回は julia 言語を Jupyter notebook 上で扱えるよう環境構築をしたので備忘として残しておきます。 環境 ** PC : MacBook Air OS : macOS High Sierra ver 10.13.6 参考URLs ** julia-doc-ja https://julia-doc-ja.readt…

Confusion Matrix の復習をしてみた。 2018/12/18

かえるるる(@kaeru_nantoka)です。今回は、私が今朝まで参加していた通称 PLAsTiccコンペ (PLAsTiCC Astronomical Classification | Kaggle)で大変お世話になった、 Confusion Matrix (sklearn.metrics.confusion_matrix — scikit-learn 0.20.1 document…

$gcloud コマンドがどうしても効かない時の tips. 2018/12/18

GCP

お久しぶりです。かえるるる(@kaeru_nantoka) です。今回は、私が2ヶ月ぶりに GCP で GPU インスタンスを立てようとした時につまづいたことと、それを脱することができた解決法を記していきます。根本的な解決法ではないのですが、藁にもすがりたい. そんな…

「深層学習を用いた株価予測の分析」宮崎・松尾(2017)を読了して

かえるるる(@kaeru_nantoka) です。 最近AI関連の技術論文を読むのにハマっておりまして、発見や思ったことを文字として残しておこうかなと思ったので書いていきます。 第1弾はこちらです。 https://www.ai-gakkai.or.jp/jsai2017/webprogram/2017/pdf/1112…

Google Cloud Datalb で kaggle の画像コンペ用の画像データを扱えるようにする。 2018/09/28

かえるるる(@kaeru_nantoka)です。 今回は、有料のGPUインスタンスが立てられる、 Google Cloud Datalab 環境でkaggle の画像コンペ用の大容量の画像ファイルを扱えるようにするプロセスについて書いていきます。 以前、無料でGPU を扱える Google Colab …

Google Cloud Datalab で OpenCV を使えるようにする。 2018/09/28

かえるるる(@kaeru_nantoka)です。今回は、 Google Cloud Datalab で kaggle の画像コンペに挑戦するにあたって、 import cv2 がエラーになったのでその解決法を残しておきます。 結論 ** 以下のコードを実行したら使えるようになりました! !apt-get upd…

Google Colab で kaggle の画像コンペに挑戦する。

かえるるる(@kaeru_nantoka)です。 今回は環境構築不要かつ無料でGPUを使用して開発できる Google Colab環境で kaggle の画像コンペの提出ファイルを提出するまでの手順についてまとめていきます。 ライブラリのインストールなどは適宜よろしくお願いしま…

herokuで python3 + opencv を動かす 2018/09/16

かえるるる(@kaeru_nantoka)です。 今回は、heroku 環境で python3 + opencv を動かす という内容で書いていきます。方法は主に二つありまして i ) docker 環境を構築する。 i i ) build pack を利用する。で、今回は後者で実装していきます。この時参考にさ…

kaggle のGPU環境で作成した CSVファイルの出力先はどこ? 2018/9/8

かえるるる(@kaeru_nantoka)です。 今回はいろいろあって kaggle のkernels で利用できるJupyter Notebook( 以下kaggle環境) でkaggle に取り組んでいた時に勝手が分からなくてつまづきました。日本語のブログやqiita記事だと「kaggleのkernels で取り組…

kaggle 初心者 vs データの全貌

かえるるる(@kaeru_nantoka)です。 今回は、kaggle歴 2週間の初心者である私が知らずに苦労した点とその解決策を備忘がてら書いていきます。 データの参照についてです。 ******* 1. はじめに 2. つまづき 3. 更なる問題 4. 今回の解決法 5. まと…

機械学習初心者な私がkaggleをオススメする3つの理由。 2018/8/19

かえるるる(@kaeru_nantoka)です。 今回は、私が最近ハマっているkaggle(カグル)についてオススメな点を機械学習初心者の目線で書いていこうと思います! 1. kaggleとは? 2. 理由1 ー 豊富なカーネル 3. 理由2 ー 目標と現在地点の距離が明確 4. 理由3…

[つづき]chart.js + Flask で円グラフをWEB上に表示する。 2018/8/5

かえるるるです。 先ほどのエントリが途中で切れていたので、続きを投稿します。。 kaeru-nantoka.hatenablog.com この記事の最後、ポイントは。。。 の続きから書いていきます。 ポイントは、html の下の方にある <script src = ~~~/Chart.min.js></script> です。これのおかげで、chart.jsをサイト…

chart.js + Flask で円グラフをWEB上に表示する。 2018/8/5

かえるるる(@kaeru_nantoka)です。今回は, Flask + chart.js で円グラフを20分でWEB上に表示することができたので備忘としてまとめておきます。 *目次1:コードと解説2:何ができるようになるの?3:参考URL *内容1:さっそくコードです。今回のデ…

Python Django で iTunes API を 簡単に叩く。 2018/7/31

かえるるる(@kaeru_nantoka)です。 本エントリでは、Django プロジェクト内にて Pythonで iTunes API を叩き楽曲情報のJSONデータをhtml上に表示します。この時検索条件を指定するのですが、この時に渡すデータをDjango model から持ってくることとします…

Django model の データを JSON化して利用する。 2018/07/26

かえるるる(@kaeru_nantoka)です。 本エントリでは、前回記事で書いたAPIを叩くときの検索ワードとして、データベースに登録したものを使用できるようになることを目指します。 本記事では前記事でも扱ったproject, app に加えてsong というアプリを同じプ…

PythonでAPIからほしい値を取得する。(2018/07/25)

かえるるる(@kaeru_nantoka)です。 自作Djangoアプリの制作過程で YouTube Data API (https://developers.google.com/youtube/v3/) を扱うことがあり、この時にハマったことと解決策を書いていきます。 前提として、今回のDjangoアプリは project名:myTut…