andante

昨晩はAAEを改修しようと試みていたのだけど、よく考えると全部Convolutionalとか無理なので（空間的分布を一度忘却しないとガウシアンと比較できないじゃん）結局前のと大差ない配置で再スタートしました。やっぱりあまりうまく動かなかったのだけど、今日になってbatchnormを入れる場所を変えたりしたらなんかいい感じになってきました。一つ目はencoderの終わりになぜか入れてなかったのを入れたことで、これはencoderの出力分布のモーメントをＺ分布に近づける役目があります。二つ目はDiscriminatorからbnを外したことなのだけど、これはなぜかよくわかりません。というか本当なのか？とにかくさっき始めた計算はいまのところいい感じに見えるので、様子を見ていきたい。

深層学習の教科書は届いたのだけど、表紙がいい感じだったのに反して本文の印刷が薄くて、なんじゃこりゃと思ったんだけどよく調べると入稿したPDFの文字色がなぜか黒っぽいグレーになってたのが原因でした。いつなったのか調べたらAdobe Acrobatでグレースケールに変換したときっぽいので、マジかよと思いながらOSXのQuartzフィルタ？で変換子直しました。ついでに表紙のカーニングも直してもう一度注文。無駄なお金を使ってしまったナァと思うのだけど文字が薄いと本当に読みづらいので仕方が無い。というかべつに急ぎじゃなかったんだから何ページか抜粋してサンプルを作ればよかったんじゃないだろうか。はあ。

今日はちょっとだけ風邪っぽいので散歩には行かず昼寝とかしました。あとは本を読みたいですね。明日はどうだろう、元気ならちょっと歩こうか。

"aae tensorflow"で検索するとこのblogがヒットするそうですが、特にコードとか載せてないのでなんだか申し訳ないですね。まああれをAAEって呼んでるのが僕だけって可能性もありますが（それはない気もする）。

昨晩はだらだら続けていたAAEを止めました。うーん、たぶんDiscriminatorがあんまり働いていないので、そこを見直して再始動かなと思います。具体的にはConvolutionalにしつつ層を増やすとか？まあとにかく試そう。

そういえば製本サービスに送った教科書ですが、でっち上げた表紙をふと見直すとカーニングをミスってることに気づいたのでちょっと凹んでいます。一度気になってしまうともう「あ〜これミスってるな〜」としか思えなくてつらい。うーん、最悪。
ともあれ今日発送されたので土日の間には届くのでしょうか。結局あわせて4000円くらいしたし、これで書籍版がすぐ出たりしたらちょっと悲しい。

どんなに悲しくつらいことや、深い後悔があっても、時間が過ぎればあとに残るのは要約だけで、それはすこし寂しいことのような、でも正しいことのようにも思う。なにしろそれは過去であり、もう存在しないことなのだから。

昨晩は結局あまり眠れませんでした。早く寝たのはいいけどすぐ目が醒めてしばらく寝付けなくてという感じで、まあ単に人間はそんないきなり早寝早起きができるようにはできてないという話なのでしょう。朝は一応起きられた。

仕事はリファクタなど。バラバラに作っていた部分をPythonのモジュールとして扱えるように整形してgit submoduleで取り込むなど。おおむねうまく動いてくれたのでよかったわいと思うのだけど、Pythonのimportはモジュール構造とぴったり張り付いてしまっているせいで単純に親ディレクトリのファイルをimportするとかがうまくできないのですね。つらい。こういう構造にしてしまったこと自体が誤っているのかもしれないけれど。でもtrainは別にモジュールじゃないんですよ、君。

AAEはどうも停滞しつつあります。なにが悪いんだろうな。そしてサンクコスト効果を感じる。一旦止めた方がよくない？

なんのためにこんなにしんどい思いをしながら生きてるんだろう、そう言ったら、みんなそうやってがんばって生きてるんだから、って、だったらやめたらいいじゃんとしか思えなくて、そしたらそんなことできないんだからしょうがないじゃないとちょっと怒って言うんでしょう。そしたら僕はふざけんじゃねえ殺すぞと思うんだけど、もちろん君にそんなことは言えなくて、でもそんなことを思ってしまうことが悲しい。だからもうこんな話はやめよう、どうしたって僕は君を呪わずにはいられない、そんなことに頓着しない君を好きなのに、どうしたって僕は君を呪わずにはいられない、だからもうこんな話はやめよう。そして僕を独りにして、ただ同じ場所で待っていて。

などということは別になかったのですがそんな声がときどきします。こんなことは現在にも過去にも特になかったのですが。
（でも、僕が本当に沈んだときに助けてくれるのはそんなことに頓着しないような人なんじゃないかなという予感めいたものがあります、僕はそういう人たぶん（こういう理由で）苦手なのですが。）

昨晩は深層学習の教科書(HTML)をがんばってPDF化していました。Chromeで印刷するときにPDF化を選べるのでそれを使ったのだけど、数式のレンダリングが完了する前に実行してしまうとPDFから数式が抜け落ちてしまうことにあとから気づいたので、一度全体を見渡して数式が壊れていないか確認してから実行するなどの手順が必要でした。まだ読んでない教科書の数式の妥当性を検討するの、不思議な感じ。

仕事はいろいろデモンストレイションを実装するなど。計算したスコアはなかなか上がらないなーだいじょうぶかなーと思っていたのだけど、実際画像を食わせてみるとまあまあいい感じに動くので、とりあえず一安心かなという感じ。明日は中間報告に行きます。朝が早いし打ち合わせだしもう最悪だ。はー。
やっぱりこういう（相対的に）新しいことやってると他人との関わりが増えるのは避けがたいことっぽいんだけど、そこをなんとかしてほしいという強い願いがある。前線に出すと死ぬタイプの人間なんですよ、僕は。

平均寿命がミリ秒単位の人工元素に国の名前がつけられて、それでどういう気分になればいいのかいまいちピンとこないところがあります。何かの日本代表が優勝したみたいな感じでいればいいんでしょうけど、どうにも国というものがよくわからない。会ったこともない誰かが僕の何かを代表しているということをどうやって信じたらいいんだ（はい「想像の共同体」）。
まあ、余計な怒られが極力発生しない名前なんてこれくらいしかないのかも、とも。

今夜は早く寝ないと本当にまずい、んだけどあんまり早く帰ってこられなかったし期待はできない。うーむ。

風邪気味。風邪気味じゃないと具体的にはどういういいことがあるのかは思い出せないけど。でもおなかとか痛いのは風邪だからだと思う。（風邪じゃないときはあまりおなかが痛くならないことに気づいてきた）

仕事はC++ライブラリのPythonポートなど。一応動くものができたので一旦ここまでとするのだけど、結局ムーヴ・セマンティクスのことがよくわからなかったり、そもそもC++のメモリ管理全般がよくわかってなかったりするので心配。

本丸以外の部分はだんだん形ができてきたのだけど、本丸の精度がなかなか上がらないのでどうしたものか。

AAEはオートエンコーダがじわじわと精度向上しているけれど、ジェネレイタのスコアはゆっくり上がっていて結局あまりちゃんとした画像は出てきていません。これそろそろ一万円超えてると思うんだけど、ゆっくり進んでいるので止めどきが見つからない。困った。まあ、コストパフォーマンスは悪くない、と思う（どうだろう？）

要するに僕はとにかく打ち合わせに行きたくないんだなということがはっきりと理解されてきたんだけど、だからって行かなくて済むというわけでもなく、ただつらい。前はそんなことなかったと思うんだけどな、どうしたんだろう（たぶん、本当は僕が行く必要なんかないと思っているか、ろくに話せる成果がなくて弱気になっているかなんだ）。

人生が勝手にアップデートしたせいでこれまで使っていた精神が対応できない。元に戻してくれ。

通院のあと仕事。人生で避けては通れないC++イベント。やっぱりね、あの言語はエラーメッセージがとげとげしていてよくない。gccが悪いんだろうか。あと個人的にはテンプレートの型パラメータの括弧（<>）が何重にもなっているのをくり返し目にするとつらくなってきた（でもその主張は http://love-motif.com/article/art_13.shtml を彷彿とさせる）。

AAEはゆっくり進んでいます。ゆっくり、ゆっくり。でもちょっとGeneratorさんチームが押され気味。ところで、うまく行くのかわからない計算にこうやってお金をじゃぶじゃぶ注ぎ込むのって本質的にはパチンコなんじゃないだろうか。うーむ。

具合が良くないので早めに寝たい（、と毎日言っている）。

AAEはゆっくり進んでいます。ゆっくりゆっくり進んではいるけど、オートエンコーダの誤差があまり下がりきらないしときどき忘れたりします。うーむ、もうちょっと待つけど。

今日は雨だと思ってたけど晴れたので夕方に散歩に出ました。晴れた日に川沿いを歩くと開放感があってとても気分が高揚する。ねこの写真も撮った。

さて、明日は病院の予約が早いので早く寝る必要があります。ところで頭が痛い。なんか最近散歩すると頭痛くならない？気のせい？

昨晩はAAEを調整していました。Discriminatorがぜんぜん学習しないなーと思っていたのだけど、それはどうも間にReLUを挟むのを忘れていたからだったらしく、ギャーという感じです。非線型性を挟まないとどうなるのかの勉強にはなった（無駄にした時間よ）。

今日もいろいろ試行錯誤しているのだけど、なんか計算が発散するので難儀しています。しかも数値チェッカーを挟むと発散しなくなる。うーん、困った。いや、発散しなくなるならそれでいいという考えかたはあるんだけど、それって何かが正常ではないってことなわけじゃん？あと遅いし。

あとはちょっと本を読みました。今夜もAAEの調整をします。

昨晩はAAEをただのオートエンコーダにして動かしました。これだとちゃんと動くので、よくわからんなあという感じ（わからなさが改善しない実験は無駄な実験なのでは？）。今夜は先にオートエンコーダを動かして落ちついてきたところにD/Gを投入する方針でやってみようかなと思います。泥沼感。

仕事はゆっくり。Faster R-CNNの性能評価が異常に低かったのは単にスクリプトの使い方がまずかっただけだったとわかったのでそれを修正したり。まあいずれにしてもあんまり高くはないのですけど。たぶん単にステップが足りてないせい。

あとはC++を書こうと四苦八苦してみたり。僕はどうもC++に苦手意識があるのだけど、結局触らなきゃいけない機会が結構あるのでどうしたものかと思う。なんかいいIDEとかあれば扱いやすくなるんだろうか。

さて土日。片方くらいは散歩に出たいような、それよりゆっくり休んだほうがいいような。それにやることたくさんあるのよね。うーむ。

昨晩はAAEをちまちま調整したり社内向けにTensorFlow入門を書いたりしました。計算グラフの概念は最初見たときなかなか要領を得なくて難儀したので、そういうところを重視した説明があったらよかったかなと思ったりします。でも結局理解してるんだしそんなの必要ないのかも。難しいですね。

仕事はわりと周辺的な作業。tfmodelの出力とか。ただメタグラフの扱いかたがよくわからなかったのでステップ数とかタイムスタンプとか変数として保存しちゃいました。こういうのは本当はメタデータとして持つべきなんだろうけど、ドキュメントがない。あとラベル文字列も格納したけど、これもこういうのがいいのかは謎。でもモデルダンプなんだし無駄に外部に依存すると扱いづらいから、これでいい気がする。

AAEはまだうまくゆきません。オートエンコーダとしてはまあ普通くらいに頑張ってくれるんだけど、Adversarial部分が全然、ほとんど何も動かないし、しばらく放置するとオートエンコーダもやる気をなくしてしまう。なんでなんだろうな。うーむ。
あとぼんやり見てたらなぜか画像の重複が多い気がしてなんでかなと思っていたのだけど、どうも存在しない駅を選ぼうとして失敗して全部函館らへんのどこかになってしまっているみたいでした。マジかよ、除去するの面倒だし修正して最初からやり直しかなあ、今週の作業が無駄になってしまった、はー。