0910
昨晩はうまく眠れなかったので、その分早く起きていろいろしました。ねむいのでもう寝ます。
まずskip-gramによるcharacter embeddingを書きました。これはでも、べつにanalogyとかがやりたいわけではないので特に評価はしていません。
それからTensorFlowのトレース機能を試したのだけど、まあなんかカラフルじゃのうくらいで特段役に立つことはなさそう。
それと、一つのGPUで複数の学習プロセスを動かす実験。普通にできないのは単にTensorFlowがメモリを食えるだけ食って内部でやりくりするようになっているからなので、そこにリミッタを掛ける設定を追加してやれば普通にできました。ただ二つ動かすと速度は半分よりちょっと速い程度まで落ちるので、特に効率化にはなりません。まあそれでもCPUでやるより早いから恩恵はある場合もあるだろうけど。あと条件の違う二つの学習が同時に走ってくれたほうがうれしいこともある。
あとLSTMオートエンコーダのデコーダのところにAttention Modelingを入れてみました。ただし見に行くのは過去に自分が生成したところだけです。結果はまだわかりません。
ねむい。明日はビームサーチを書こうかなと思っている。あともしかしたらDiscriminatorを書いて本格的にAAEのスキームに載せるかもしれない。