andante

昔、中国の役人に、ガスコンロの掃除が面倒だから料理をしないという男がいたそうだよ。（ことわざ「コンロを無視してＩＨを置く」の語源）

朝起きて病院。五分の診察のために二時間半待つのはさすがにちょっと溜息という感じですが、まあ仕方ないなあと理解はしています。予約じゃないしね。

待合室で本を読んでいたら思ったほど体調も悪化しなかったので、結局会社には行きました。次なにしようかいろいろ考えられるくらいには元気だったし。今日は読書がはかどった。

仕事は先週うまく動かなかったモデルのパラメータを変えたりBatch Normalizationを挟んだりして調整。あと、良かれと思ってConvolution層を減らしてたんだけど、むしろその方がFC層との接続の重み行列が巨大になってメモリを圧迫することに気づいたのでそれを戻したり。やれやれ、これだから素人さんは困るんですよ。ゆっくりゆっくり進み始めて、いろんなsparsityが動いたり動かなかったりしているのだけど、まあバッチサイズが16とかなので一晩かかるでしょう。今日はあとはtensorflowのopの実装方法を勉強したりしました。C++なー。

もう画像生成といえばDCGANと言っとけばいいだろ的な気持ちで言ってるのですが、Google Mapsから適当な地図（写真じゃないほうがいいかも）をたくさん取得して、架空の地図を生成したら楽しいかもしれないと思いました。宇宙人が地球人を捕獲して観察するためにこしらえた架空の擬似街。あっこれ「いないときに来る列車」だ。

（この話は本当にただの連想ゲームでしゃべっているのであまり深く考えないで欲しいのですが、なんて予防線はいらねェ、だって全部そうだろ？）
ライムンドゥス・ルルスの「アルス・マグナ」と易経は似ているかもしれないし、畳み込みNNの最初のほうの層にシンプルなパターンが現れるのは深層心理における元型に似ているのかもしれない。

「無理なご乗車は、不可能です。」

具合はあまりよくない。たぶん先日の体調不良はだいたい回復したのだけど、新しく出た抗生剤がよくないような気がする。ふーむ。

仕事はあまり順調ではない。昨日走らせて帰ったモデルはあまり学習が進んでおらず、どうも画像の前処理に失敗していた気配があるのでそのあたりを修正してもう一度。やれやれ、横着せずにちゃんと出力を確認してからやるべきだったのだ。
あとVGG16の学習済みモデルをばらばらにして使いたいとこだけ使う実験とかもしました。これはうまくいったので安心。問題はちゃんと移植できるかどうかなんだけども。
ところでFCLNというlocalizationモデルが提案されていたことを今更知りました。これ論文はキャプション生成の話だけどこっちのほうがFaster RCNNより性能いいのかな。RoI Poolingを微分可能にしましたみたいな話のようだけどいまいちピンとこない。時間があったら明日もうちょっとちゃんと読む。

そろそろ自分のプロジェクトにリソース割かないといけないんだけどにゃあ。今夜はちょっと進められたらよい。

昨晩は……記憶が無いけど……まあいいや……

仕事はあまり順調でない。文字認識を学習させてるニューラルネットワークを試してみたら文字数は合うけど文字はぜんぜん合わない。私は数を数える機械を作っているのではないのだよ、君。
まあまだlossは減り続けている（遅くない？）のでもうちょっと待ちましょうや。

とはいえ、文字認識についてはこれは市販のライブラリとか使っちゃうのが実用上は一番正気っぽい気はする。

今夜は新幹線の予約を試みようかな。ゴールデンウィークに帰省するかもという話で、帰って何をするかというと特に予定はなく、せいぜい散歩かなと思うのですが、まあなんというか、十日間も無計画に家にいると時間はあるのになにもしないみたいな最悪の過ごし方をしてものすごい自己嫌悪に陥りそうなので、せめて非日常に身を置けばマシか、という期待あってのことです。意味あるかは知らん。あとは実家の母にそろそろ新しいパソコンを買わせねばなるまい、とか。

今夜こそはtensorflow触るぜ。

大きな災害があると、疑心暗鬼と道徳自慢の悪魔合体がメディア気取りで跳梁跋扈して、ちょっとしんどい気持ちになる。

昨晩は久々にちょっとやる気が出たのでTweetを分かち書きして語彙に番号をつけて数字の列にするコードを途中まで書きました。これを何らかのword embeddingに食わせて、そこからDCGANに投げることになるはずです。たぶんword embeddingは$N-1$次元になって、残りの１次元は空白の表現に使う$N$次元表現を、幅1pxの$N$チャンネル画像と見立てて畳み込みをするでしょう。縦は1postあたりの最大語彙数、たぶん100くらいに制限します。それより短いものは中央に寄せて上下を空白にします。$N$がどれくらいになるかは未定。

今日はあまり具合が良くない。どう良くないというのも難しいのだけど、ただ疲労している。肩凝りがひどいのかも。うーん。

セイヨウサシミタンポポ（学名: Taraxacum sasimium）は、キク科タンポポ属の多年生植物。
元々ヨーロッパを中心に刺身のつまなどに用いられていた[1]が、
日本でも戦後に持ち込まれて以降急速に普及し、
現在では「刺身のタンポポ」といえばこちらを思い浮かべる人が多い[要出典]。
日本在来種に比べるとやや小型なのが特徴で、色合いもわずかだが黄色が強い。

昨晩も分かち書きと語彙表作成をしていました。Python、慣れない。

仕事は挫折。結局文字認識は無理そう。まだ試してはいるけど、帰り際に走らせた計算がさっき見た感じ発散しているので、明日ちょっと行って直そうかなと思う。勾配のクリップを入れるだけだしすぐでしょう（しかしなんで急に発散しているのか不明なのが気がかりだ）。はー憂鬱。

明日はまた散歩に行けたらいいなと思う。今夜はword embeddingまで進めたらと思ってたけど、帰ってくるの遅かったし、明日会社も行くんだったらあんまり遅くまで作業してたくないよな、とか。ふうむ。

昨晩はTweetコーパスを分かち書きしてSwivelアルゴリズムに投げるところまでやりました。Python3を最近ようやくたどたどしく書き始めたところなのに、Python2のコードを3に修正するとかなかなか厳しい。でもtensorflowをPy3環境にインストールしてしまったからPy2には戻れない。ふーむ。

お昼過ぎに起きてちょっとだけ会社で作業しました。勾配のクリッピングを入れて再計算。でもやっぱりまだうまく動いていない気配があります。こんどは勾配が小さすぎたり、あとどうもweight decayは省いた方が良かったような気もする。うーん、難しい。

その後三時間ばかり散歩しました。14キロ歩いたらさすがに疲れた。

今夜はDCGANの実装まで進められたらいい、けど期待はしない。

昨晩はtfでモデルを書き始めたけどやっぱり微妙に不慣れなので進みません。特に、generatorとdiscriminatorを別々に作って独立にパラメータ更新するところとか、これまで適当に任せてたところをちゃんとやらないといけない感じで難しい。

今日は特になにもしていません。「ヤマノススメ」一期がAmazonプライムで観られたのでぼんやり観ました。そういえば二年半くらい前に高尾山登ったっけな。ぜんぜん記憶が無いけど。

調子があんまりよくない。元気がない。うーむ。

昨晩はDCGANのモデルを書いていました。一応たたみ込んだりするところはできたのだけど、discriminator二回走らせたらグラフが二つになって、変数は共有してるにしてもあまり格好良くないので、一度で済ませられるように工夫するつもりです。

具合はあまりよくない。明日は社外の打ち合わせに同行するらしい。二年ぶりくらいだから緊張する。

昨晩はdiscriminatorの周辺をちょっと修正して、とりあえずグラフ的には正気っぽいコードになったところまでで寝ました。今夜は実際のデータを流すところまでやりたいんだけど、できるかなあ。

お昼から仕事。社外打ち合わせ。なんで僕を連れてくんですかって訊いたら「雰囲気を出すため」みたいなことを言われたので、僕はもしかしたら人間よりも間接照明に近い存在だったのかもしれない、と思いました（思っていません）。雰囲気は出しました。名刺交換くらいでキョドるのはさすがになんとかしたいよね。

あとFaster R-CNNのtf実装を検討しています。できればC++書きたくないんだけど、少なくともNMSは必要だし、RoI Poolingとか、あとSmooth L1 Lossも必要でしょう。そういえばFCLNのRoI Poolingって何がどう微分可能なんだっけ。勉強が足らない。

具合は昨日よりちょっと良くなっている気がする、けど単に朝風邪薬飲んだからかもしれない。

昨晩はtext-dcganを書いていました。一応動かせるところまで来たのだけど、なかなかgeneratorが学習してくれません。cross entropyが50とかになってるの、なんか壊れてるんじゃないのかな。ふーむ。

仕事は難航。FRCNNの実装なんだけど、いざ書こうとしてみると理解があやふやなところとかいろいろ出てきたのでまたソースを復習したり。とりあえずproposal部分はNMS以外はpythonで書けそうなんだけど、NMSは無理でしょう。まあ元実装のコードを参考にしつつ明日がんばるつもり。
ところでOCRのほうは完全に諦めムード。まあしょうがないよね。

今夜はtext-dcganを応援しつつ本でも読もうかな。ちょっと疲れているから早めに寝るよ。