andante

昨晩は早めに寝たのにぜんぜん寝付けなくて難儀しました。なんか体温高かったし（でも熱はほとんどなかったのよね、そういうこと時々ある）。

早起きして早めに会社に行きました。早起きすると一日が長い！のだけど、帰ってきた時間はいつもと変わらないので、これでは意味がないよなと。仕事が波に乗ってたのはいいんですけど、早く寝ないと早くは起きられないのよ。

仕事はまあ順調。明日には何か動かせるんじゃないだろうか。無理かな。がんばりたい。

明日は歯医者。体調は悪くないんだけど油断はできない。

たぶんそれなりに聡い子だった鷺沢さんはどんな風に大人になったんだろう。そして大人になってゆく橘さんをどんな風に見ているのだろう。（「そしてそれを見ている僕はどう思っているのだろう？」）

結局のところ、赤の他人に要求できることなんてそう多くはない。そのように要求することは不当だと見做されている（そもそも他者に何かを要求することなどできるのだろうか？）。だったらもう他者一般に失望しておくのが正しいのではないだろうか。正しい？何が？そんなこと叫んだってだれも褒めてはくれませんよ。

これは明らかに誤っている。しかし僕にはどうすることもできない。踊れる人は気楽に踊れ。そうでないなら各自がんばれ。

（※原義は「蛍光灯を替える者」。蛍光灯を替える時、両手を天に突き上げると激しい光の明滅が生じる姿が神々しさを感じさせたことから、神を比喩的に表す言葉となった）

仕事の前に歯医者。ちょっと奥歯が欠けてますねって言われたんだけど心当たりがない。歯軋りでもしてるんだろうか。いやだな。

仕事は順調、かと思いきやRoI Poolingの勾配が合わない地獄にいる。でも帰り道で気づいたんだけど、Max Poolingに類するレイヤの微分は、数値的に求めると無限小変位にならないからプーリングされる場所が変わってしまう可能性がある気がする。初期値をちゃんと調整すれば問題ないと思うんだけど。あとで試そう。それで直ってくれたらいいんだけど。

今日も帰りが遅くなってしまって、さっきお風呂入ったところだから髪が乾くのは何時になるやら。やっぱりドライヤーを買うべきなのかも。でも本当にあれ熱いしうるさいし嫌いなのよね。（ここであらゆる手懸かりが「頭髪を剃ろう！」という回答を指し示していることに気づく）

風邪がよくならないままちょっと頑張りすぎている気がする。だいぶしんどくなってきた。うーむ。

$2^9$。

こんなことをするために苦労してMathJaxを入れたんとちゃうんやで。

昨晩はRoI Poolingの謎をいろいろ調べていたのだけど、昨日の日記に書いたみたいな単純なトリックではなくて、インデックスからn-hot vectorを得るのにsparse_to_denseを使っていたのが良くなかったことがわかりました。上手くいく場合もあるのだけど、インデックスに重複があるとだめらしい。まあ、スパース行列に重複なんかあるはずないんだから仕方ないよな。結局one_hotをreduce_sumして０と比較することでn-hot vectorを得ることにしました。やれやれ。

仕事はまあまあ。上記の修正でRoI Poolingの勾配がテスト通るようになったので、いろいろリファクタしつつ結合。VGG16の重みの読み込みもうまくできたのだけど、ソースコードをよくよく読んだら画像サイズがわりと可変だったので（だからim_infoをテンソルで渡す必要があったのかー）明日それにあわせてちょっと修正します。あとMS COCOのダウンロードがなかなかうまくゆかない。

人間はなぜ言語をメタ言語としても読むことができるのだろう。つまり、なぜ言語の使いかたを言語で教わることができるのだろう。

たとえば、人間は国語辞典を読むとその単語の使いかたを理解して正しく使えるようになる。しかしRNNに国語辞典を食わせても、国語辞典っぽい話しかたを覚えるだけでその言葉の使いかたは覚えてくれない。

素朴には、知識という概念があって、言語の組み合わせによって知識を構築し、あるいは知識を読み出すことができることになっている。しかし、我々が一般に知識と呼んでいるのは言語的に構築されたものばかりではないはずだ。言語的な知識と非言語的な知識とはなぜうまく馴染むことができるのだろうか。初めは非言語的な知識しか持っていなかったはずなのに、ある時から言語によって知識を拡大することを覚えるのはなぜか。

脳があるプログラミング言語で書かれたプログラムだったとする。自然言語によって知識を獲得するというのは、このプログラムを自然言語で修正することに近いように思われる。それは一つのインタプリタを作ることになるだろう。しかし我々からはそのプログラミング言語は見えないのだ。そんなことができるようには思えないし、ましてや後天的に学習することなど想像もつかない。（これは冗談だが、もしそのプログラムが日本語で書かれていたら、eval()に相当する機能が存在するかもしれない。これは冗談だが。）

空腹を告げる鳴き声と論理哲学論考との間には明らかに階梯の断絶があるように見えて、実は広大なスペクトラムの両端でしかないのか。だとすれば、その中間にはどのような構造があるのか。この断絶（に見えるもの）は、「自分の意志が実際にこの身体を動かしている」という考えかたに感じる断絶にも似ているのかもしれない。だからこれも、うまく言えない。

昨晩は本を読んで早めに寝ました。前期量子論はシュレーディンガー方程式なしでも水素原子のスペクトル線くらいは説明できるところまで発達してたこととか、あとその頃量子力学の建設に関わっていたのが軒並み今の僕より年下なのとか。ディラックは二十五歳でディラック方程式を出したそうです。マジかよ。

仕事は長時間労働キャット。（キャット？）やっとend-to-endで動かせるところまでこぎ着けたのだけど、動かしてみると微妙にうまく動いていない様子。このあたりはデバッグしながら地道に見ていくしかないですね。やれやれ。

さて、今週はずっと体力の限界を感じながら動いていたのだけど、土日は二日しかない。明日は天気も良さそうだし、軽めに散歩したいな。元気だったらいいのだけど。

時間というのは放っておいても流れるもので、それってつまり重力に従っているのであり、だから日付や時間が進む順を昇順と呼ぶのがしっくりこないのだと思う。しっくりこないんですよ。
一方で数字が増える順を昇順と呼ぶのは、地面に物を積み上げると上に昇ってゆくからで、要するに延長のある物体は重力に逆らわざるを得ないということに由来しているわけです。重力というものとの二種類のつきあいかたが、一つの単語の中で分裂的な気分を生み出している、そう考えるとちょっとだけおもしろいと思う。ちょっとだけだけど。

昨晩は結局tensorflowをああでもないこうでもないといじっていたら朝になってしまいました。うーん、できそうでできないことをやっているときが一番没頭できるけど、そうやって夜更かしするのは本当に良くないと僕が学習するのは何エポック先のことなのでしょうか。（機械学習ジョーク）

お昼過ぎに起きて散歩に行きました。そんなに遠くまでいくつもりじゃなかったんだけど気がつくと11.7kmでした。やっぱり10km超えるとしんどいけど。帰りは電車に乗りました。
家に帰ってから地図を確認したら、なんか東に進んでいたつもりだったのに途中からずっと南に進んでいたことがわかったりしました。僕が道に迷いがちなのは、右左折したときにそのことを忘れてしまうからなんじゃないかと思います。知らないけど。

今夜は早めに寝ないと月曜日に後悔するのがわかっているので、あんまり夜更かししないようにしなくちゃ。ところでちょっと頭が痛い。心配だ。

昨晩はfから電話が掛かってきたのでだらだらしゃべったり、あとはtfを触っていました。また朝になってしまった……今夜ぜったい眠れない……

今日は学習が発散する理由をいろいろ調べて、どうやら原因らしいものに行き当たったのでそこでやる気が迷子になりました。tf.add_check_numerics_ops()は便利。やっぱりRoI Poolingがおかしくて特定の条件で無限大を寄越していたのが原因っぽいのだけど、具体的になにが悪くてそうなったのかはこれから調べます。これから。あとメモリを異常に食う問題もあるのだけど、これは皆目見当がつかない。（そもそも異常なのかどうかよくわかっていないのだけど、40GBくらい要求するのは異常だろうと思う）

ちょっと喉が痛い。寝たら治るだろうか。

喉が痛い。体調全体としてはそこまで悪くは無いけれど、朝はしんどかった。まあそれは単にあまりたくさん寝られなかったからかもしれないけど。

RoI Poolingの問題は昨夜修正しました。ほんとにできてるのかは謎ですが落ちなくなったので大丈夫でしょう。あとメモリを食いすぎる問題は、寝る前に考えてみたらべつに異常でもなんでもなくて、one-hotベクトルを作るときに600x1000x512x7x7くらいのテンソルが発生していたのが問題でした。これはSparseTensorの使いどころかなと思ったので使ったら直りました（でもr0.8時点ではSparseTensorへの演算ってほとんどサポートされてなくて、ガッカリしてたんだけどmasterにはreduce_sumが入っているのを見つけたので事なきを得ました）。

これでほぼ動くんだけど、MS COCOの画像がどうもたまにグレースケールだったりするのでそれへの対応も必要そう。あと単純にRPNの学習が収束しないんだけど、これはハイパーパラメータのチューニングが必要なんだろうか。論文と実装との対応がよくわからないのだけど……。

あと深層学習勉強会をしました。また動画観るやつですけど、Courseraの機械学習講座のほうがずっと親切だった感があります。単にこっちがいきなりAdvancedだからなのかもしれないけど。

ある人が一年考えて解ける問題を、それより能力の劣る人が何年考えれば解けるかというと、まず一年も考えられないというところに壁があるんじゃないだろうかと思う。一つの問題を考え続けることはとても難しい。思いつくアプローチを全部試してしまえば、それ以上やることはないからだ。
思考の量は棄却した仮説の数に等しいという。そしてそれは、ある種の体力を必要とする。

昨晩はAdversarial Autoencoderの論文を読んだりしました。これおもしろそうだな。GANは収束しづらいという噂だったけどこれは収束性いいんだろうか。元がオートエンコーダなんだし悪くはなさそうだけど。オートエンコーダとDiscriminator部分にDCGANみたく畳み込みを使うことはできないんだろうか（それってなんか意味あるのか？結局NNの表現力がどんなものなのかよくわからない）。
あとRNNのseq2seqをオートエンコーダ的に使えば文章の内部表現を同じようにimposeできるんじゃないかと思うんだけど、やってみたいな。まずは単純なseq2seqのオートエンコーダを作ろうか。

仕事は壁。一応学習を試しつつ調整しているんだけどどうしてもlossが突然発散してしまって、おかしいなあと思ったんだけどどうもtfのクロスエントロピーの関数が壊れている。正確には、ラベルに-1を入れて無視させようとしたときに異常な挙動をとるように見えるのだけど、まあちゃんと調べたわけでもないのでわかりません。とにかく手動で無視する部分を除去したら発散しなくなった。ただそれだけでうまくゆくというわけではない。時間が……

h.b. > f.

仕事は難航。とりあえずデータを自動でダウンロードするスクリプトを（やっと）書いたのでこれでGPUインスタンスで動かせるようになりましたが、どうにも学習が進まない。たぶんrelu5_3が全部０になってしまっているのが原因なのだけど、それはどうすれば取り除けるのだろう。うーん。勾配をクリッピングしてみたけど効果なさそうだし……（もっと小さくクリップすればいいのかもしれないけど）
tensorboardにはいろいろな情報が表示されるけど、結局それらの読みかたや適切な対応がわからないので、目をつぶって祈っていたのを目を開けて祈るようになっただけの違いでしかない。うーむ。

明日は健康診断。しかしこの一年で五回くらい血液検査してる気がするしわざわざ行く意味ない気がする（そういうものじゃないけど）。ああでも視力が落ちてるだろうな。

にゃおにゃお、と口にしている間しか、生きるつらさを忘れられない。

仕事の前に健康診断。身長体重は去年と大差なし。ただ視力があいかわらず左だけ悪い。しかも両眼ともに去年よりちょっと下がった。左目これ以上悪くなると自動車免許の更新に失敗する気がする。メガネ買い換えなきゃいけないんだなあ、眼鏡屋さんは（その他の多くの衣服に関する店と同様に）苦手。

仕事は昨日よりはましな感じ。AdamOptimizerをやめてMomentumだけにしたら発散しなくなったのでナーンダ無駄なことしたわいと思いました。なんでそういうことが起こるんだろう？weight decayだけが先に効き過ぎるとかなんだろうか？まあどうでもいいや。明日には系全体で動かせるといいんだけど。

これは一行も書かずに思いつきを述べるのですが、LSTM seq2seq AutoencoderができたらこれをAdversarial Autoencoderにして、二人の人間が書いた文章を食わせれば文体と内容とを分離できるかもしれないと思いました。そんな上手くいくかいな、とも思います。試してみる価値はあるかも。
本当はTwitterのpostでやりたいんだけど、僕じゃない人のpostはAPIでは3200件しか取れないので難しいでしょう。ふうむ。