diary

0910

昨晩はうまく眠れなかったので、その分早く起きていろいろしました。ねむいのでもう寝ます。


まずskip-gramによるcharacter embeddingを書きました。これはでも、べつにanalogyとかがやりたいわけではないので特に評価はしていません。

それからTensorFlowのトレース機能を試したのだけど、まあなんかカラフルじゃのうくらいで特段役に立つことはなさそう。

それと、一つのGPUで複数の学習プロセスを動かす実験。普通にできないのは単にTensorFlowがメモリを食えるだけ食って内部でやりくりするようになっているからなので、そこにリミッタを掛ける設定を追加してやれば普通にできました。ただ二つ動かすと速度は半分よりちょっと速い程度まで落ちるので、特に効率化にはなりません。まあそれでもCPUでやるより早いから恩恵はある場合もあるだろうけど。あと条件の違う二つの学習が同時に走ってくれたほうがうれしいこともある。

あとLSTMオートエンコーダのデコーダのところにAttention Modelingを入れてみました。ただし見に行くのは過去に自分が生成したところだけです。結果はまだわかりません。


ねむい。明日はビームサーチを書こうかなと思っている。あともしかしたらDiscriminatorを書いて本格的にAAEのスキームに載せるかもしれない。


0911

今日はビームサーチを書いたり、あと少し本を読みました。テストとか書くべきポイントだけどそういうのができそうな抽象化がとてもできなかったので諦めた。一応それらしく動いてはくれているので大丈夫でしょう。

それなりにちゃんと学習させておくと、40文字くらいまでは復元できるように見えます。これは僕が書いた文章だから効率が良いというわけでもないらしく、ソースコードなんかもこのくらいなら復元できています。これはもっと学習すれば伸びるんだろうか。
もっとも、別にそんなのはどうでもよく、それより問題はこの内部表現をGaussianにインポーズできるかなのよね。あとsampled-softmaxで高速化できるならそうしたいと考えてはいるけど、いまの設計とバッティングするので悩んでる。でも文字種は4000以上あるから使った方がいいはず。


明日は午前中にSkype会議。それから午後にちょっと会社を抜けて病院。