0906
昨晩は……そうだ、RNNオートエンコーダをGRUからLSTMに替えてたんだった。ところでHighway RNNの実装も見つけたのでこれも試してみたい気持ちがあるぞ。
計算機巫女業はすこし前進。いっそ最初から学習率を一桁落とせばいいじゃない、というのと、あと隠れ変数の次元数を上げたのと。あとはこれでDiscriminatorが仕事してくれればいいのだが、それはここから調整していこう。
今夜はcurriculum learning(綴りに自信がない)をやってみようかなと思います。短い文から始めて、途中から長い文を含むデータセットに移行するの。三段階くらいでやればいいかな。長さのヒストグラムなどがあってほしい気持ちがあるけど、どうすれば見られるかしら。
「〈赤〉あるよね」「ある・・・」