andante

2016-05-18

0517

昨晩はAdversarial Autoencoderの論文を読んだりしましたこれおもしろそうだなGANは収束しづらいという噂だったけどこれは収束性いいんだろうか元がオートエンコーダなんだし悪くはなさそうだけどオートエンコーダとDiscriminator部分にDCGANみたく畳み込みを使うことはできないんだろうかそれってなんか意味あるのか結局NNの表現力がどんなものなのかよくわからない
あとRNNのseq2seqをオートエンコーダ的に使えば文章の内部表現を同じようにimposeできるんじゃないかと思うんだけどやってみたいなまずは単純なseq2seqのオートエンコーダを作ろうか


仕事は壁一応学習を試しつつ調整しているんだけどどうしてもlossが突然発散してしまっておかしいなあと思ったんだけどどうもtfのクロスエントロピーの関数が壊れている正確にはラベルに-1を入れて無視させようとしたときに異常な挙動をとるように見えるのだけどまあちゃんと調べたわけでもないのでわかりませんとにかく手動で無視する部分を除去したら発散しなくなったただそれだけでうまくゆくというわけではない時間が……