昨晩はImageMagickの遅さと格闘していました。Lambdaの時間制限は多少延ばせるのだけど、API Gatewayのタイムアウトは30秒固定らしいので、動画の処理が間に合わないのです。マジかよ。ImageMagickが遅いという話はあるので、だったらGraphicsMagickを使えばマシだろうかと思って試しているのだけど、今度はなぜかうまくゆきません。手許では動くんだけどな。うーむ。
仕事は停滞。OpenCVのインストールに四苦八苦して憎しみを募らせる。まあでもなんとかDockerfileにまとめられたので今後はそこまで苦しむことはないでしょう。やれやれ。
そろそろちゃんとイメージをビルドする環境を整えるべきだと思うんだけど、なかなか忙しくて手が回らない。そもそもどこでやるのか決まってもいない。ふーむ。
善を為すにも体力がいるのだと、年々身にしみて思うようになってゆく。（いわんや不善をや、とはならないのが残念）
昨晩は特に何もしなかったような気がする。少なくとも私的なタスクは何も。資料作成はちょっとした。
お昼から仕事。たいしたことはしていない。夕方に打ち合わせに行ったりした。三度目ともなるとまあまあ慣れてきた感じもあるけど、まだ不安が強くてしんどい。念のために下痢止めを飲んでいったりする。
あとはゆっくり論文を読んだりしました。Layer Normalization、なんでこんなんでうまくゆくんと思うんだけど、まあ要するに対称性があれば正規化の軸をそっちに取っても構わんよねという話なのかな。FCだとうまくゆくけどConvNetだとダメ、というのはそういう直感にも合っている。
あとVAEGANもちゃんと読もうとしてみた。結局$\mathcal{L}^{\mathrm{Dis}_l}_{\mathrm{llike}}$の定義がよくわからないんだけど、ここでGaussianになってるってことは損失自体は普通に二乗誤差でいいのかな。他の実装を見ておきたい。
さて週末。gyazo-lambda計画をなんとかしないといけないんだけど、それよか勉強会の課題解説担当になっているのを忘れていたのでやらなくちゃいけない。seq2seqを実装するらしい。面倒……。
昨晩はgraphicsmagickにGIF画像を生成させたりしていました。imagemagickよりは確かに高速化しているし、小さい画像ならなんとかなるようになったのだけど、大きいとタイムアウトに間に合わないです。うーん、これはどうしたらいいんだろう。同期で返すのを諦めたらいいのかな……。
あと、サイズを取得してメタデータ作ったりするところはあとからやればいいやと思ったのでそこは別にすることにしました。S3のputをトリガーにすれば良さそう。今夜できるかな。
あとAAEをまた試しました。VAEGANの論文でやってたように、reconstruction errorの伝搬をDecoderまでで止めてみたんだけど、そうするとEncoderはDiscriminatorの顔色ばかりうかがうようになってしまってぜんぜん意味のある情報をエンコードしてくれなくなるみたいでした。まああたりまえではあります。
そうなると、Encoderがどっちの言うことを聞けばいいのかという重みパラメータを用意する必要があって、パラメータがあるならチューニングが必要になります。ふーむ。ちょっと考えてみよう。
今日はポケモンGOばかりしていました。家から一歩も出なくても進められるのは都会ゆえという感じがします。でもこれ外でやるのはちょっと抵抗あるな。Ingressのときもそう思った気がする。あと、普通に歩いてると楽しいのでそんなことしてる場合じゃない。
さて、今夜と明日はそろそろ勉強会の課題解説をやらなきゃいけない気がします。うーん、seq2seqか……。
ひさびさに書いた日記が全部消えるやつやりました。やっぱりセッションに自動保存くらいつけておくべきか……。
面倒なので手短に。
昨晩はS3をトリガに画像のサイズを計算してメタデータに保存するLambda関数を書きました。これはあっさり書けたのでよかった。動画アップロードのクライアントはちょっと後回し（思ったよか面倒だった）。
既存の画像をS3にコピーして、そしたらCloudFrontの設定変えて移行しちゃおうかな。今夜できる？
あと深層学習勉強会の課題に追いつきました。CBOWとskip-gram、後者は出力が複数個になるからうまくsoftmaxとか取れなくてばらばらにやるしかないのが気にくわないのだけど（前者は入力が複数になるだけだから素直に書ける）、性能は後者のほうがいいらしいのがちょっと不思議。
今日はLSTMを実装しました。といっても課題の説明にあるのを効率化しただけだけど。結局全部まとめれば行列乗算は一回で済む、のかな？説明文には二回必要っぽいことが書いてあるように見えるけど。まあ動いてるしいいや。
さてまた月曜日。微妙に頭痛がするのが心配。まあ最近じゃよくあることだしな。
僕がどんなものを見てどんなことを思いながら生きてきたのか、それを知る人間がこれから先の人間関係に現れることは決してないし、興味を持って訊いてくれる人間もいないだろう、そう思うとなんだかとても寂しい。（そして、語るほどの過去などそもそも無かったりするのだが）
昨晩はgyazo-cloneを本番環境にデプロイ？していました。デプロイったってCloudFrontの設定変えただけだけど。あと既存の画像をS3に移したり。S3に上げちゃうと保存日時が消えてしまってもったいないので、日付もメタデータに保存することにしました。旧システム、実は三年近く前から動いてたんですね。びっくりした。
構成はこんな感じ：
https://gyazo.necocen.info/8c7ad986b8783f3edc4c6e4b3ae9ab43.png
お昼から仕事。深層学習勉強会の課題でRNN言語モデルをseq2seqに修正することを考えたり。なんかめっちゃ面倒だと思ってたんだけど多少限定すれば最小限の修正でできそうなので、次の週末くらいでやれたらいいなと思う。
あとはVAEの実装を始めた。エンコーダから出てくるのは正規分布の平均と分散だけなのになんでデコードできるんだ、と不思議に思ったりするのだが、まあ十分なランダムさがあればそこに秩序を読み出すことはつねに可能、というような話なのかなと思う。不思議ではあるけれども。
頭に取り付けるタイプのVR装置が会社に置いてあったのですこし遊びました。最近流行りのこの手のVR、基本的には（ちょっとお金を出せば）普通にできることばかりが用意されている印象だったのだけど（もっとほら、360°回転で元に戻らない世界とかやってみたいじゃない）、それはそれとして宇宙空間とか行くのは楽しい。地球儀を回転させながら日光の当たり具合を調整してウットリ眺めていた昔の僕にも見せてあげたかった。こういうのだったら遊んでみたい（でもこれ以外になんかあるか？という気はする）。
今夜は何をしよう。具合悪いから早めに寝たいんだけど、少しは遊ぶ時間があるはず。DynamoDBのこと調べるべきかな。
お風呂で身体を洗う手順みたいに、何も考えずに生きてゆけたらいいのに。
昨晩はNVIDIA-DockerによるCUDAコンテナ環境の作り方を社内blogに書いていました。まああれもまだまだ模索中なんだけど。あとdocker-composeがどうもあてにならないのでcapistranoを検討したい。
仕事は待ち。昨日やったVAEの実装からVAEGANに拡張したけどまだAAEのパラメータチューニングやってるので動かしてない。これ今後もこういう調子で待つ時間長い気がするんだけど、教科書とか論文読んで勉強してればいいんだろうか。いや、いいんだったらいいんだけども。
そういえばVAEの気持ちがわからなくなったので解説を読んだらちょっとわかった気がした。なるほどね、KLで正則化しているのは別にエンコードの確率分布をインポーズしたいというわけではなくて計算してたらそういう項が出てくるだけなんだけど、とはいえインポーズしとくと便利だよね、みたいな気持ちなんだろうか。それともやっぱりインポーズしたいんだろうか。（わかってないじゃん）
今夜はμ'sの画像とタグでも集めようかなと思います。地図画像は40万枚ほど集まったんだけど、これ結局分類タスクに向いてないから条件付き生成の実験にはあんまり使えないのよね。かといってMNISTはちょっとつまらないので、10クラスくらいあって画像が容易に手に入りそうなもの〜〜〜ということで、まあ。
昨晩はμ'sのキャラクタ画像の蒐集手法について検討していたけど、safebooruだけじゃ思ったほど数がない。あと単体で描かれているものも意外と少なくて、じゃあ分離はどうするんですかという話になる。そのままsemisupervised classificationに雪崩れ込み……はしないと思う。うーん、どうしよう。
仕事はいろいろ調整。Batch Normalizationのスケーリングをなくしたり初期値をよくあるヒューリスティクスに従って変えてみたりしたら、分布の類似度はぱっと見で向上したような気がするんだけど、それで結果が良くなるのかはよくわからない。
あとなんとなくやってみたかったのでZabbixで計算機のコンテナを監視できるようにしてみたんだけど、ずっと計算してるだけのコンテナを監視しても別にいいこと何もなかった。残念。
たとえば、ものすごく綺麗なものを見て、それを絵に描きたいと思うんだけど、手許には色鉛筆が四色しかないとしたら、それでもなんとか描こうとする人もいるかもしれないし、実際にそれで見事に描ける人もいるかもしれないけれど、僕はそんな危険は犯せないなと思う。青色で塗っておいて、本当はこんな色ではないんだけど、なんて註釈するのは馬鹿げているし、そのこともいずれ忘れて、こんな色だったんだと思い込んでしまうだろう。僕はそんな危険は犯せないなと思う。
何かを言葉にするのは、多かれ少なかれそういうことだろうと思う。そしてここでは、僕はそれでもなんとか言葉にしようとしてしまう側の人間で、そうして出来上がった全然違うもので、上書きしてしまう側の人間なのかもしれないと思う。（だったら黙って風化していくのを見ていたほうがいいっていうのか？）
ぜんぜん関係ないけど（だからこの上には罫線があるのですが）、
ずっと昔、太陽系の惑星の絵のポスターを買ったとき、僕と母とでそれを見ながら絵を描いたことがあった。僕はなんというか、教科書的な太陽系の模式図を描いたんだけど（今思うとこれはエジプトの壁画を連想させる、あるべきものをあるべき姿のままに。）、母は緑とか赤とか何色も使って木星を描いていた（木星はそんな色じゃないよと僕は（惑星博士だったので）言った）。僕がさっさと九つの惑星を描き終わってからも、母はずっとその絵を見つめていたのだけど、それはたぶん、絵を描くことを志して諦めた自分について考えていたんじゃないかと思う。
母は数年前からまた絵を描きはじめている。いまの僕とそうは変わらない年齢だった母は、自分がまたそうすることになるとは思っていなかったかもしれない。（僕もまた、いつか何かを再び始めることがあるのだろうか？あるいはぜんぜん別の何かを？）
昨晩は大してなにもしていない気がする。ああそういえばドライヤーを買おうと思ってさがしたんだけど結局どれがいいのかよくわからないのだった。とにかく静かなやつがほしいんだけど。
仕事は細かい調整。そういえば、計算速度のボトルネックがI/Oにあると看破した気がしたので教師データをtmpfsに置くようにしてみたんだけど改善しませんでした。じゃあ純粋に計算時間でいっぱいなんだろうか。でもそしたらどうしてファイルキューが空になるのか……このあたりのチューニングにあまり詳しくないのでよくわからない。まあ別にいいけど。
今日は精神の調子がよくない。今夜はelixir+phoenixの環境作ってなんかやってみようかな。それともマンガでも読もうかな。風邪っぽいので早く寝たい。精神の調子がよくない。
昨晩はelixirとphoenixをインストールしただけで特になにもしていません。最近気力がなくってね。
仕事は論文読み。CNNにAttentionをつけてキャプショニングやってる論文とか、画像のスタイル移植をやってる論文とか。「街のない地図」、テクスチャ生成の文脈で考えるべきなんじゃないかとちょっと思ったけど、やっぱりそうでもないと思う。知らんけど。
週末はelixirとgoを書くかもしれないし、マンガを読むだけで終わってしまうかもしれない。「君はマンガを読んでもいいし、新しい言語を勉強しても構わない」ってなかなかいい身分だな、と思いました。
自分はとにかく口を開けば何かしら面白いことを言える人間なんだ、という無根拠な思い込みがいつしかすっかり剥がれ落ち、自分はどうしようもなくつまらない人間なんだという、これまた実感の伴わぬ空虚な反省文があり、その中間のどこかに存在するであろう真実は、たどたどしい口調で、しかしたまに人を笑わせる。
昨晩はphoenixの（あまり親切でない）解説記事を追ってCRUDっぽいwebアプリを作っていましたが途中で飽きたので中断しました。あと前に一度一通りは読んだとはいえ普通にelixirがわからんので先にそっちを復習します。
今日は夕方から隅田川花火大会に行きました。別にそんなつもりではなくて、ただ地図を見たら角度次第では家から見えるのでは？と思ったからコンビニ行くついでに見ていこうと思っただけだったんだけど、実際は（たぶん距離的にも）ぜんぜんそんなことはなくて、でも音だけ聴いてたらなんか非日常スイッチが入ってしまったので、結局歩いて近くまで行きました。六年前に観たときは河原で座ってたと思うのだけど、道路側から接近すると歩行者天国になってて、屋台が出てお祭りになっていました。音とかすごかったしこっちのが楽しいかもしれない。落ちつかないけど。
花火を呆然と観ていると、ああ、やっぱり生きていこう、この世界のあらゆるものを全身に受け止めて生きていこう、という気持ちに一瞬だけなります。そんな疲れることしたくないんだけど。でも、ほんとに一瞬だけ、そういう気持ちになります。
こんな（言ってしまえば）野蛮なアート、たぶんなんちゃらリアリティみたいなやつでは再現できないのではないかと思います。技術的にどうこうというのではなく、単純に安全基準上の理由で。知らないけど。
サ！！何話だったか忘れたけど津島さんの回で、まあ中二病キャラの一周半というところは順当なのかなという感じ。僕もちょっと気を抜くとすぐに自分の特殊性を水増ししようとしてしまう癖があって（左手で字を書く練習をしてみたり）、だけどそんなのやめちまおうぜどうせ自分は普通なんだと言い聞かせて、でも結局どこか普通になりきれないところが残って、みたいな、そういうことを思い出した。
あとは「やだったらやだって言う」の尊さで、これが健全に行えない、行えないかもしれない、行われないかもしれない、そういった疑念、不信が、人間関係をコミュニケイションを歪めてしまう、さまざまな不幸を呼び寄せてしまうのであり、だからこれをまず始めに宣言することは、どんな愛の告白よりも尊いと、いうのはさすがに言いすぎだとは思うんですけど、でも、美しいことだと思うんですよ。
今夜は上述のようにelixirの復習。あとはチュートリアルに戻るんですけど、僕べつにCRUDがやりたいわけじゃないんだよね。というかモデル部分はDynamoDBに投げるわけで。まあ、いい加減このblogもリライトしたいという気持ちが無くは無いんだけどもね。あるいはwtbmのほうとか（更新を停止して長い）。
