diary

0909

昨晩はcharacter embeddingの実装を試みていたのだけど、途中でnce_lossがなにやってるのかわかんなくなったので挫折して寝ました。


夕飯を食べてお風呂に入ろうと思っていたらfから飲もうぜと誘いが来たので居酒屋でジンジャーエールを飲みました。途中でλも合流してなんか昔の話とかした。僕はお腹いっぱいだったので本当にジンジャーエールとウーロン茶を飲むだけだった。あとちょっと具合悪くなったりしたけど、これはたぶん緊張感によるものだと思う。難儀な身体になってしまったねえ。


そういうわけで今夜はもうなにもしません(してもいいんだけど生活リズムを護りたい)。明日こそはembeddingを書きたい。あとTensorFlowの機能をいろいろ調べたい。メタグラフの読み書きとか、あとGPUのメモリ使用率を制限すれば複数のタスクを並行できるのか?とか、あとプロファイラのこととかも。あとMovingAverageの実装がこれで正しいのかとかも気になっているし。全部は時間ないと思うけど。


0910

昨晩はうまく眠れなかったので、その分早く起きていろいろしました。ねむいのでもう寝ます。


まずskip-gramによるcharacter embeddingを書きました。これはでも、べつにanalogyとかがやりたいわけではないので特に評価はしていません。

それからTensorFlowのトレース機能を試したのだけど、まあなんかカラフルじゃのうくらいで特段役に立つことはなさそう。

それと、一つのGPUで複数の学習プロセスを動かす実験。普通にできないのは単にTensorFlowがメモリを食えるだけ食って内部でやりくりするようになっているからなので、そこにリミッタを掛ける設定を追加してやれば普通にできました。ただ二つ動かすと速度は半分よりちょっと速い程度まで落ちるので、特に効率化にはなりません。まあそれでもCPUでやるより早いから恩恵はある場合もあるだろうけど。あと条件の違う二つの学習が同時に走ってくれたほうがうれしいこともある。

あとLSTMオートエンコーダのデコーダのところにAttention Modelingを入れてみました。ただし見に行くのは過去に自分が生成したところだけです。結果はまだわかりません。


ねむい。明日はビームサーチを書こうかなと思っている。あともしかしたらDiscriminatorを書いて本格的にAAEのスキームに載せるかもしれない。


0911

今日はビームサーチを書いたり、あと少し本を読みました。テストとか書くべきポイントだけどそういうのができそうな抽象化がとてもできなかったので諦めた。一応それらしく動いてはくれているので大丈夫でしょう。

それなりにちゃんと学習させておくと、40文字くらいまでは復元できるように見えます。これは僕が書いた文章だから効率が良いというわけでもないらしく、ソースコードなんかもこのくらいなら復元できています。これはもっと学習すれば伸びるんだろうか。
もっとも、別にそんなのはどうでもよく、それより問題はこの内部表現をGaussianにインポーズできるかなのよね。あとsampled-softmaxで高速化できるならそうしたいと考えてはいるけど、いまの設計とバッティングするので悩んでる。でも文字種は4000以上あるから使った方がいいはず。


明日は午前中にSkype会議。それから午後にちょっと会社を抜けて病院。


0912

びっくりするほど調子が悪い。早起きと体調の関連性なんてまやかしの見せかけの幻想でしかなかったことに気づかされる瞬間。あとiPhoneのバッテリーもばかになってしまって充電が30分くらいしかもたない。あと数日で御役御免だからって気を抜いているのか、それともささやかな抵抗なのか。

仕事を途中で一旦抜けて病院へ。寝付きは良くなったけど夜中に目が覚めたりしますと言ったら薬がちょっと増えた。


精神状態が良くないのは会社でも家でもうまくゆかない問題と格闘し続けているからだろうと思い、じゃあしばらく家では計算機巫女業やめます、ちょうどAWSのスポットインスタンスも止められてしまったし、と読書をしようとしたのだけど、気がつくとうつらうつらしてしまっており何の生産もしていない自分に苛立ちがつのる。こんなことならコード書いてるほうがマシだったのでは?


明日は上長と評価面談。毎度毎度気が進まない時間だ。せめて体調が悪くないといい。


0913

具合は昨日よりはマシって程度。相変わらず目覚まし時計より早く目が覚める(「東京タワーより高く跳ぶ」みたいな文)。仕事の前に病院にゆく。


心身の具合の悪さによって、この世界の楽しいものすべてから締め出されてしまったような気がする。世界は、前と同じように輝いている。でも、僕はもう、そこにはいない。


全か無かという思考からさまざまなものを引き剥がしてゆく格闘。


にゃーお。


0914

僕は僕の頭を撫でてやるのがあまり上手くはないのだけど、これでどうにかしのいでゆくより他にないんだ。


心身ともに調子がよくない。体調が急激に悪化することへの不安感が精神を苦しめているし、そうしてぴりぴりしてしまった精神が身体のあちこちに不調の徴候を誤認させる。いや、誤認じゃないのかもしれない……(こんな風に)

完全に精神のバランスを崩してしまっていると感じる。でも立ち止まることはできないのだ。このままなんとかしてゆかねば……。そんなことできるんだろうか……。もう疲れた……


今夜は気力があったらLSTMオートエンコーダのsoftmaxをsampled_softmaxにするコードを書きます。昨日途中まで書いたからたぶんもうちょっとでできるぜ。


0915

体調が悪くなるのは炭水化物の取り過ぎで血糖値が良くない感じになっているからという説があるらしく、まあだからといって何かできることがあるわけではないです。朝食はパンしかないし、野菜を食べる習慣もない。詰んだかもしれない。投了させてほしい。


昨晩はがんばってsampled softmaxに対応させましたが手許のmacではたいした高速化になっていません。なんでだよ。行列計算激減じゃないのかよ。まあGPUだと違うのかもしれません。

ところでTerraformというやつを使えばAWSにインスタンスを用意してゴニョゴニョみたいなのが一発で準備できると聞いたので勉強しています。とはいえこういう使いかたするものじゃないのかもしれない。だいたいスポットインスタンスにも使えるんだろうか?

あとcapistranoがdocker-composeと連携できると楽しいかなと思っていますがこのへんもまだ未開拓です。


完全に精神状態が最悪なんだけど、これはどこを押したら直るんですか?
あと一日、あと一日耐えれば一週間休める、iPhone7も届く……


0916

昨晩はTerraformを使ってAWS EC2のスポットインスタンスを振り出したりしていました。あとS3にアクセスできるロールを自動でつけたり。これ便利ですね。大規模に使おうとするといろいろ不都合出てくるみたいですけど。なにより格好いい。正しいことしているんだーって気持ちになれる。


論文探してたらちょうどいまやってる問題を改善してくれそうなものを見つけたのだけど、実装しながら考えてみたらこれはそのままでは使えないなという結論に達した。柔軟な枠組みだからもしかしたら応用できるかもしれないけど、とりあえずは見送り。


やっと連休。体調がいまいち芳しくない気がするので帰省までの数日はゆっくり休みたい。LSTMオートエンコーダにDiscriminatorをつけたい。ところで「街のない地図」のことを忘れていますね?(PixelCNNで再挑戦とかしてみたい……)

あと明日はiPhone7が届くので、そしたらケースとかフィルムとか買わないといけませんね。楽しみ(iPhone7自体は今日会社でちょっと触った)