23日になるたびに、今日はなにかの記念日ではなかったかという気持ちになる。23という数には、そういう特別さがそなわっていると思う。（好きな数は17だけど）
お昼から仕事。週末の間に死んでいた学習の司法解剖を試みたけど結局よくわかりません。仕方ないので三箇所くらいにcheck_numericsを挟んだけど、こいつ勾配を伝搬しないらしい（それはバグでは？）。厄介。
明らかに進捗が遅れっぱなしのように思われるんだけど大丈夫なんだろうか。大丈夫ではないのだが。
今日はとても具合が悪いので早く寝ます。でも髪が乾くまでは起きてなきゃいけないので、今日の勉強会の講義ノートをまとめる作業でもしようかな。TensorFlowはちょっとお預け。あとXamarinは水曜日くらいから資料作る。
偉大な人物になれないのなら、せめて礼儀正しく穏やかな人物でありたいと願ったのに、現実は人生は容赦なく僕に降りかかってくる。きっと誰でもそうなのだろう。僕だけは負けてはいけない。でも負けてしまうのかもしれない。僕だけは負けてはいけない。
昨晩はXamarin Studioをちょっと触りました。async/awaitを使って非同期HTTP通信するのとかも試したけど、これ便利ですね。dispatch_asyncとかだとコールバックでネストがどんどん深くなっていくのをフラットに書けるってことでしょ？エラー処理はまだ試してないんだけど、try-catchの中に普通に書けるっぽいしそれで済むんじゃないかな。かっこいい。
今日はどうも具合が良くないのであまりなにもしていません。そういえばDCGANさんは一時ちゃんと数字を覚えてくれたのだけど、さっき見たらなんかゲームに出てくる遺跡の古代文字みたいなのをどんどん吐くようになってしまっていました。なんだこれ。Discriminatorさんチームは何をやってるんだ。いま見たらGeneratorさんチームの最後のdeconv層のbiasが急に大きくなってしまっているけれど、君はいったい何を学んだ結果そうなったんだ。
あとVariational Autoencoderのことをすこし勉強しようと思ったのだけど、ベイズ学習？とかのことがよくわかっていないのでいまいちピンときません。うーん、腰を据えて勉強した方がいい気がするな。いつまでもそういうところを無視してロジスティック回帰のオバケばかり触って喜んでいるわけにもゆくまい。
明日は病院（定例）。今夜はあまり夜更かししたくないのだけど、深層学習勉強会の課題をやらねば。
昨晩はTensorFlowでDCGANを実装しました（間違ってたことがあとでわかったのだけど）。なんとなく、こう書くと見やすいし手を入れやすくなるかな、みたいな流れはわかってきたのだけど、DCGANのように一つのネットワークを二回通すような場合はどうするのがいいのかまだよくわかりません。variable scopeを共有するとtensorboardにでっかい矢印がでてきてイケてないし、summaryもなんか微妙になる。
データは結局MNISTを食わせたのだけど（TensorFlowのチュートリアルコードで数行で読めたので）、単純なコーディングミスでweightがtrainableになってなかったので全然だめでした。
今日は起きてからDCGANの様子を見て、いろいろ修正してから夕方に散歩に出ました。なんか六本木？とか赤坂？とかの年収が高そうなところを通ったりしました。あいかわらず方向感覚がないので、西に進んでいるつもりが途中から南になったりしました。
DCGANは一応動いてくれるようになったのだけど（いろいろ表示させておくとGeneratorが突然理解りを得るのとかが見えて楽しいですね）、log lossが発散するので対策を考えています。1e-12くらい足しておけばいいだろうか。
今夜はXamarinをいろいろ触ります。非同期で通信するようなものを作れるといい。
仕事は昨日よりは順調。一応動き始めて、何かを学習している素振りは見せ始めるようになりました。でも一回突然NaN出して死んだし予断を許さない。チェッカーを挟もうとしたらGPUのメモリに乗らないとか言われたので挟めなかった、でもいくつかアタリつけて挟むべきだと思う。週明けにでも試すべき。
あとOpenCVで簡単なクロップをするスクリプトを書いたり。諸々の不安要素を置き去りにしたままシステムが形を現しはじめる。
今夜はDCGANの再実装をしたい。目標はそこではなくAdversarial Autoencoderなんだけど、こないだDCGANのlossが僕の思ってたのとオリジナルの論文とでちょっと違うと知ったので（もしかすると実質的には等価かもしれないが）それもあわせて実装する。その次はseq2seq Autoencoder。ふむ、やりきれるだろうか。
あとXamarinも触らないといけないのよね、勉強会で発表するので。土日も忙しい。明日は散歩に行けたら行きたい。
にゃおにゃお、と口にしている間しか、生きるつらさを忘れられない。
仕事の前に健康診断。身長体重は去年と大差なし。ただ視力があいかわらず左だけ悪い。しかも両眼ともに去年よりちょっと下がった。左目これ以上悪くなると自動車免許の更新に失敗する気がする。メガネ買い換えなきゃいけないんだなあ、眼鏡屋さんは（その他の多くの衣服に関する店と同様に）苦手。
仕事は昨日よりはましな感じ。AdamOptimizerをやめてMomentumだけにしたら発散しなくなったのでナーンダ無駄なことしたわいと思いました。なんでそういうことが起こるんだろう？weight decayだけが先に効き過ぎるとかなんだろうか？まあどうでもいいや。明日には系全体で動かせるといいんだけど。
これは一行も書かずに思いつきを述べるのですが、LSTM seq2seq AutoencoderができたらこれをAdversarial Autoencoderにして、二人の人間が書いた文章を食わせれば文体と内容とを分離できるかもしれないと思いました。そんな上手くいくかいな、とも思います。試してみる価値はあるかも。
本当はTwitterのpostでやりたいんだけど、僕じゃない人のpostはAPIでは3200件しか取れないので難しいでしょう。ふうむ。
h.b. > f.
仕事は難航。とりあえずデータを自動でダウンロードするスクリプトを（やっと）書いたのでこれでGPUインスタンスで動かせるようになりましたが、どうにも学習が進まない。たぶんrelu5_3が全部０になってしまっているのが原因なのだけど、それはどうすれば取り除けるのだろう。うーん。勾配をクリッピングしてみたけど効果なさそうだし……（もっと小さくクリップすればいいのかもしれないけど）
tensorboardにはいろいろな情報が表示されるけど、結局それらの読みかたや適切な対応がわからないので、目をつぶって祈っていたのを目を開けて祈るようになっただけの違いでしかない。うーむ。
明日は健康診断。しかしこの一年で五回くらい血液検査してる気がするしわざわざ行く意味ない気がする（そういうものじゃないけど）。ああでも視力が落ちてるだろうな。
昨晩はAdversarial Autoencoderの論文を読んだりしました。これおもしろそうだな。GANは収束しづらいという噂だったけどこれは収束性いいんだろうか。元がオートエンコーダなんだし悪くはなさそうだけど。オートエンコーダとDiscriminator部分にDCGANみたく畳み込みを使うことはできないんだろうか（それってなんか意味あるのか？結局NNの表現力がどんなものなのかよくわからない）。
あとRNNのseq2seqをオートエンコーダ的に使えば文章の内部表現を同じようにimposeできるんじゃないかと思うんだけど、やってみたいな。まずは単純なseq2seqのオートエンコーダを作ろうか。
仕事は壁。一応学習を試しつつ調整しているんだけどどうしてもlossが突然発散してしまって、おかしいなあと思ったんだけどどうもtfのクロスエントロピーの関数が壊れている。正確には、ラベルに-1を入れて無視させようとしたときに異常な挙動をとるように見えるのだけど、まあちゃんと調べたわけでもないのでわかりません。とにかく手動で無視する部分を除去したら発散しなくなった。ただそれだけでうまくゆくというわけではない。時間が……
喉が痛い。体調全体としてはそこまで悪くは無いけれど、朝はしんどかった。まあそれは単にあまりたくさん寝られなかったからかもしれないけど。
RoI Poolingの問題は昨夜修正しました。ほんとにできてるのかは謎ですが落ちなくなったので大丈夫でしょう。あとメモリを食いすぎる問題は、寝る前に考えてみたらべつに異常でもなんでもなくて、one-hotベクトルを作るときに600x1000x512x7x7くらいのテンソルが発生していたのが問題でした。これはSparseTensorの使いどころかなと思ったので使ったら直りました（でもr0.8時点ではSparseTensorへの演算ってほとんどサポートされてなくて、ガッカリしてたんだけどmasterにはreduce_sumが入っているのを見つけたので事なきを得ました）。
これでほぼ動くんだけど、MS COCOの画像がどうもたまにグレースケールだったりするのでそれへの対応も必要そう。あと単純にRPNの学習が収束しないんだけど、これはハイパーパラメータのチューニングが必要なんだろうか。論文と実装との対応がよくわからないのだけど……。
あと深層学習勉強会をしました。また動画観るやつですけど、Courseraの機械学習講座のほうがずっと親切だった感があります。単にこっちがいきなりAdvancedだからなのかもしれないけど。
ある人が一年考えて解ける問題を、それより能力の劣る人が何年考えれば解けるかというと、まず一年も考えられないというところに壁があるんじゃないだろうかと思う。一つの問題を考え続けることはとても難しい。思いつくアプローチを全部試してしまえば、それ以上やることはないからだ。
思考の量は棄却した仮説の数に等しいという。そしてそれは、ある種の体力を必要とする。
昨晩はfから電話が掛かってきたのでだらだらしゃべったり、あとはtfを触っていました。また朝になってしまった……今夜ぜったい眠れない……
今日は学習が発散する理由をいろいろ調べて、どうやら原因らしいものに行き当たったのでそこでやる気が迷子になりました。tf.add_check_numerics_ops()は便利。やっぱりRoI Poolingがおかしくて特定の条件で無限大を寄越していたのが原因っぽいのだけど、具体的になにが悪くてそうなったのかはこれから調べます。これから。あとメモリを異常に食う問題もあるのだけど、これは皆目見当がつかない。（そもそも異常なのかどうかよくわかっていないのだけど、40GBくらい要求するのは異常だろうと思う）
ちょっと喉が痛い。寝たら治るだろうか。
昨晩は結局tensorflowをああでもないこうでもないといじっていたら朝になってしまいました。うーん、できそうでできないことをやっているときが一番没頭できるけど、そうやって夜更かしするのは本当に良くないと僕が学習するのは何エポック先のことなのでしょうか。（機械学習ジョーク）
お昼過ぎに起きて散歩に行きました。そんなに遠くまでいくつもりじゃなかったんだけど気がつくと11.7kmでした。やっぱり10km超えるとしんどいけど。帰りは電車に乗りました。
家に帰ってから地図を確認したら、なんか東に進んでいたつもりだったのに途中からずっと南に進んでいたことがわかったりしました。僕が道に迷いがちなのは、右左折したときにそのことを忘れてしまうからなんじゃないかと思います。知らないけど。
今夜は早めに寝ないと月曜日に後悔するのがわかっているので、あんまり夜更かししないようにしなくちゃ。ところでちょっと頭が痛い。心配だ。