andante

2016-09-11

0910

昨晩はうまく眠れなかったのでその分早く起きていろいろしましたねむいのでもう寝ます


まずskip-gramによるcharacter embeddingを書きましたこれはでもべつにanalogyとかがやりたいわけではないので特に評価はしていません

それからTensorFlowのトレース機能を試したのだけどまあなんかカラフルじゃのうくらいで特段役に立つことはなさそう

それと一つのGPUで複数の学習プロセスを動かす実験普通にできないのは単にTensorFlowがメモリを食えるだけ食って内部でやりくりするようになっているからなのでそこにリミッタを掛ける設定を追加してやれば普通にできましたただ二つ動かすと速度は半分よりちょっと速い程度まで落ちるので特に効率化にはなりませんまあそれでもCPUでやるより早いから恩恵はある場合もあるだろうけどあと条件の違う二つの学習が同時に走ってくれたほうがうれしいこともある

あとLSTMオートエンコーダのデコーダのところにAttention Modelingを入れてみましたただし見に行くのは過去に自分が生成したところだけです結果はまだわかりません


ねむい明日はビームサーチを書こうかなと思っているあともしかしたらDiscriminatorを書いて本格的にAAEのスキームに載せるかもしれない

0911

今日はビームサーチを書いたりあと少し本を読みましたテストとか書くべきポイントだけどそういうのができそうな抽象化がとてもできなかったので諦めた一応それらしく動いてはくれているので大丈夫でしょう

それなりにちゃんと学習させておくと40文字くらいまでは復元できるように見えますこれは僕が書いた文章だから効率が良いというわけでもないらしくソースコードなんかもこのくらいなら復元できていますこれはもっと学習すれば伸びるんだろうか
もっとも別にそんなのはどうでもよくそれより問題はこの内部表現をGaussianにインポーズできるかなのよねあとsampled-softmaxで高速化できるならそうしたいと考えてはいるけどいまの設計とバッティングするので悩んでるでも文字種は4000以上あるから使った方がいいはず


明日は午前中にSkype会議それから午後にちょっと会社を抜けて病院