0517
昨晩はAdversarial Autoencoderの論文を読んだりしました。これおもしろそうだな。GANは収束しづらいという噂だったけどこれは収束性いいんだろうか。元がオートエンコーダなんだし悪くはなさそうだけど。オートエンコーダとDiscriminator部分にDCGANみたく畳み込みを使うことはできないんだろうか(それってなんか意味あるのか?結局NNの表現力がどんなものなのかよくわからない)。
あとRNNのseq2seqをオートエンコーダ的に使えば文章の内部表現を同じようにimposeできるんじゃないかと思うんだけど、やってみたいな。まずは単純なseq2seqのオートエンコーダを作ろうか。
仕事は壁。一応学習を試しつつ調整しているんだけどどうしてもlossが突然発散してしまって、おかしいなあと思ったんだけどどうもtfのクロスエントロピーの関数が壊れている。正確には、ラベルに-1を入れて無視させようとしたときに異常な挙動をとるように見えるのだけど、まあちゃんと調べたわけでもないのでわかりません。とにかく手動で無視する部分を除去したら発散しなくなった。ただそれだけでうまくゆくというわけではない。時間が……