andante

また操作ミスって日記が消えた。悲しい。やっぱり下書き自動保存くらいつけておくべきなんだ。

昨晩は文章生成LSTMをGANに無理矢理ねじ込んだのだけど、まあ案の定動きませんでした。動いてはいるけど「芯芯芯芯芯芯芯芯芯芯芯」しか言わなくなってしまって、お前はそんな文字列が僕のpostと見分けがつかんと抜かすのか阿呆めと思いました。まあ、僕がLSTMをよくわからない自己流で使うのがいけないんだと思う。
機械学習は試行錯誤が時間掛かってしょうがないですね。まあchainerが遅いという話でもあるのだと思うけれど。

今日は自然言語処理に畳み込みNNを使う論文を眺めたりしました。語彙の表現にはword2vecなどを使うと次元が抑えられて良さそう。で、CNNならGANが安定する条件についてDCGANの論文が調べていたはずだから、これならDCGANに載ってくれたりするかもしれないとちょっと思う。そんなうまい話があるかいな、とも思う。ふうむ。

なんにせよchainerは遅い（らしい）ので、今夜はtensorflowをインストールしています。まあ、chainerの手軽さは偉大だけども。

さて三連休も終わり。微妙に具合が良くないので早めに寝る（常套句）。

昨晩はtensorflowのチュートリアルを読んだりしました。

お昼から仕事。PythonとCaffeで書かれたモデルのコードを追いながら構成を理解してゆく作業。論文は一応読んだから理屈はもうわかっていても、実装はまた別のわかりが必要とされる感じがあって骨が折れます。Caffeのモデル定義はレイヤとBLOBに同じ名前をつける慣習がある？らしくしばらく悩んだ。

あとはRasPiのセンサ入力をHTTPで送るコードを書きました。せっかくSwift入れたしSwiftで書きたかったけど、生のsocketとか触ったことないし、libdispatchも使えなくてNSThreadだけでどうこうするのはつらそう。今日のところはrubyで済ませておきました。rubyはいつになってもうろ覚えのまま書いているせいで、初歩的なところではまったりしました。

就活、競争倍率が高いというだけで、謎の価値観に最適化しないといけないみたいな雰囲気が出ているのが本当に不健全だと思うし、雇う側までそんな価値観に最適化させないといけないみたいな雰囲気があるのではと思う。本当に不健全だと思う。悲しい風習だ。
そう考えると大学入試が基本的にはペーパーテストなのは良いことなんだろうと思う。そうでなかったら、高校生もなんだかよくわからない祈りの動きを競い合ったりするのだろうか。

コミュニケイションにおいて、「気持ちを考える」というのはまったく無意味な行為であるように思える。「気持ちがわかる」という現象は確かにある。しかし、それは「気持ちを考える」ことが可能であることを意味しない。気持ち計算というものが機械的に行えない以上、すでにわかっているものの組み合わせしか、想像することはできない。
きっと必要なのは、表明し、問いかけることなのだ。もちろん言いたくないこと聞きたくないことというものは存在し、それを察し察されることは存在する。それはなにかの能力というよりは、「ちょうどよかった」というような、偶然と必然との中間に浮かぶようなものに近いのではないかと思う。だから、それがあったときは、安堵の溜息とともに、感謝しなければならないだろう。

昨晩はたいしたことをしなかったような。tensorflowの雰囲気はわかってきた気がするけどコードを一行も書かずにそんな風に思うことの愚かさよ。

お昼から仕事。Faster R-CNNの理解がだいぶ論文とコードとで一致してきました。あとは具体的な学習プロセスを理解して再現を試みればこの方向はとりあえず打ち止めでよいでしょう。まあ、実際に教師データを蒐集するという難題があるのだけど。

今夜はtensorflowでLSTMを書くにはどうすればいいのか調べようかな。

「痛いの痛いの飛んで行け」というまじないがあるが、僕の痛みは常に僕の痛みなのであって他人の痛みではありえないのだから、仮に痛いのが飛んでいったとしても、飛んでいった先が痛むというだけなのではないだろうか。

「気持ちを考える」「気持ちを慮る」などの文章に表れる「気持ち」というのは、たとえば「不利益を被ったら怒っても良い」というようなルールに従う概念、ゲームの駒のようなもので、この〈心〉の中の色彩めいたものとはまったく関係がないのだろうと思う。野球の点数にも似ている。そしてこのような指摘はナンセンスである（野球の試合中に「なぜ点数の高い方が勝ちなのだろうか」と問うような無意味さ）。

昨晩はOCRの現状をいろいろ調べてたら遅くなってしまったのでなにもできていません。OCRの現状はよくわかりませんでした。活字スキャンでラテン文字ならほぼ問題ない品質になっているらしく、最近の流行りは街中を撮った写真などから看板の文字を読むことのようですが、日本語や縦書きへの対応はどうなっているのだろう。よくわかりません。まあarxivで読める範囲でしか見てないけども。

仕事はとうとうAWSで環境構築。Amazon Linuxが予想外に縛りプレイだった／入ってたCUDAが古くて結局ドライバからインストールし直したので、一日掛かってCaffeが入るところまでしか到達できませんでした。マジかよ。
Caffeが入ったので一応ほとんど完了なんですけど、この先もなにかインストールが発生するたびにこんな感じだと非常に厳しいので、プレーンなUbuntuに替えてもらうことになりそうです。一日を完全に無駄にしてしまった……。論文はちょっと読み進められた。ここまでのところは最短手数で理解を進められている気がするけど、ここからはもうちょっとじっくりと見聞を広めてゆかないといけない気がするな。あとOCR。

今夜こそtensorflow、と思ったけどもうこんな時間じゃん。小一時間くらい。

「人工知能がヒトラー礼賛」語呂が良すぎるし、これこそが人工知能の成果なのではないだろうか。

人類がもしほんとうに囲碁の評価も覚束ないような有様なのだとしたら、人工知能の道徳と対決しなければならない日も遠くないのではないだろうか。（そうか？）

昨晩はTensorFlowのチュートリアルをちょっと読みました。Chainerと違って、徹底的に計算グラフを先に構築して後からデータをバインドするという形になっているので、慣れるまでちょっと混乱する。

仕事はUbuntu環境整備。UbuntuはUbuntuで多少変則的だったようですが、それでもapt-getで諸々入るのでずいぶん楽でした。macのvagrantで動かしたら50秒掛かった処理が0.5秒で終わったのでGPUすげーと思いました。
ただ、Caffe+Pythonは並列処理ができないらしいので、せっかく４枚も積んでるのに１枚しか動かせていません。これはよくない。とりあえず安い方のインスタンスに乗り換えることになりそうですが、ちゃんと並列計算する方法を検討する必要がありそうです。Pythonで書かれてるレイヤーをCaffeに移植するとかかなあ。それはできればやりたくないのだけど……。

あとRasPiでトイレの個室の占有状態を検知するプロジェクトを進めました。ついに物理層へ進出です。無線LANが不安定とかいろいろ問題はあるのですが、とりあえずそれっぽく動かすことはできたので、今日から我が家もIoTだな！という感じでした。フムン。

さて週末。実は明日も明後日も出掛ける用事があってなんか忙しい。明日は母が上京してきて墓参りに行くのについて行きます。会うぜ母親、参るぜ墓。

昨晩はニューラルネットワークのフレームワークをいろいろ調べてたら遅くなってしまいました。今の時点でそんなに気にする必要はないんだけど、遅すぎたり使いづらすぎたりするとさすがにつらいので、そこは回避したい、という思いです。luaを覚える時間的余裕があればTorchとか良さそうなんだけど、それは一旦妥協してtfかなあと思います。C++はできれば書きたくない。
パフォーマンスというとMicrosoftにはCNTKという子がいて、彼は並行処理のオーヴァヘッドが異常に小さいらしいのですが、それは1bit SGDという手法で実現されているようです。こいつのことはちゃんと読んでないのだけど、伝達する勾配を1bitまで量子化してしまっても差分を次のターンで送るなどすれば長期的にはほとんど影響がないという話なんだと思う。信号処理でも同じような手法が使われているらしいけどよくわからない。ディザリングアルゴリズムでそういう感じのがあったと思うけど同じなんだろうか。

お昼に起きて、上京してきた母と先祖の墓参りにゆきました。僕は中学一年で祖父が亡くなったとき以来だと思っていたのだけど、大学の入学式の後にも来ているらしい。記憶にない。将来はあなたがこの墓を継ぐのよと最近よく言われるのだけど、できればそんなのやりたくない（でも墓にお金を掛ける気持ちは最近ちょっとだけわからないでもない気はしてきた）。卒塔婆？を追加購入して墓に設置していたのが課金アイテムみたいでおもしろいなと思いました。死んでなお墓の豪華さで競争しなければならないんでしょうか。

せっかく休日に外に出たので電器屋でデジタルペーパーの書き味でも試すかと思ったのだけど発見できず。横着しないで秋葉原まで行けばよかったかな。

明日はßとその友人と花見に行きます。花がどうなってるのかは不明。まあ別にそんなのは些細な問題なんだけども。

http://www.cast-japan.com/gigamic-quarto/
おもしろそうなボードゲーム（Webでちょっと遊べておもしろかった）。遊ぶ相手いないけど。

昨日はTensorBoardを動かしてみていました。これ、画像データの可視化とか損失関数の変化が出たりするのはとてもよいんだけど、ネットワークグラフが出るのは使いかたがいまいちよくわからない。

早起きしてaとßとその友人と花見をしました。花はたいして見なかったけど（あまり咲いてなかったので）複素多様体のモジュライ空間について教えてもらいました。モジュライって言葉の響きが好きなので（モジュラーイ！）気になっていたのですが、定義は知らなかったのでよかった。
aは数学をやっているので、数学に関する話題のいろいろを知っていてとても楽しい。僕はそんな風に何かに特化することができなかったなあとちょっとだけ心が疼く。最近はそれほどでもない。
独りで散歩するのもいろいろな発見があって楽しいけれど、みんなで散歩するのもまた違った相互作用の機会があって楽しいなあと思いました。でもちょっと歩きすぎた。昨日もけっこう歩いたし、疲れた。

ところで、Loftに行ったら
https://www.youtube.com/watch?v=5f3ILHYcZDg
こういうのが売っていたので欲しいなあと思いました。12kだったので買えちゃうな。そんな理由でものをどんどん買っていてはいけないような気がするけど、これ無限に見てられるんだから、つまり時間あたりの費用はゼロってことでしょ？（違うよ）

今夜も早く寝るべきですが、いいかげん自前のモデルをtensorflowに書きたいなとも思います。というかアニメ観なくていいんだっけ？

昨晩はword2vecの説明を読んでから寝ました。可能な単語すべてとのsoftmaxを取ると死ぬのでかわりに「ノイズ」として選ばれた単語集合に含まれないことを要求すると高速になる、みたいな話。ノイズはランダムに選べば良いのかな。へえ。

お昼から仕事。日本語OCRの現状を調査。フリーで使えるソフトは基本的にぜんぜんダメなんだけど、これは前処理が不十分だからなのか学習が不十分なのか、あるいは、前処理と学習をちゃんとすればどのくらい改善するのか、みたいなことがまだわかりません。そしてこれは実際やってみないとわからないんだろうなあ。うーむ。これはたぶん泥臭いチューニング作業になる気がする。うーむ。

明日は病院（定例）。なんかまた風邪っぽさが出てきている気がする。嫌だな。

もしかしたら会えるかもと思って公園に行ったら、もしかしたら会えるかもと思って待っていた君がいて、なんだそれ循環参照かよって言いながら一緒に帰る。「あそこの点線ってさ」「どれ」「キリトリセンのところで折ったみたいだよね」「ああ、アスファルトのひびがってこと」「道路に書いてる縦ながーい文字でさ、キーーリーートーーリーーセーーンーーって書くの」「はさみの絵も書こう」「えーなにそれ」「え、書いてない？キリトリセンのところにはさみの……なにしてんの」「チョキチョキ」「グー」「あっ、じゃあグリコね」「そのペースで帰るの日が暮れるんじゃないかな」「あっ、西に向かって進めば日が暮れるのちょっとだけ遅くなるよ」「あっちって西なの？」「西だよ？」

昨晩もword2vecの説明を読みました。一応全体構造はわかったけど、なんで（特にskip-gram）こんなのでああいう性質の良い埋め込みが得られるのかはぜんぜんピンとこないなあと思いました。というか具体的な回帰の計算もよくわかってない気がする。まあこの先はコードを。

仕事の前に病院。今日はとても空いてて誰もいなかったのですぐ終わりました。調子はすこし良くなっているのかもしれないけれど、まあそんなの何回目だよって感じだし。

仕事は日本語OCRの調査。領域検出も既存手法ではどうやらぜんぜんだめで、これは学習すればどうにかなるのかどうか、ぜんぜんわかりません。あとはCNNを使った手法の論文を読んだりしたけど、これはオーバーキルなんじゃないだろうかと心配になる。既存研究の地図がぜんぜん描けてないので、すごく的外れなことをやってないだろうか。うーむ。

普通に使ったつもりの言葉に、「難しい言葉知ってるんですね」とか言われちゃうと、ちょっと疎外感？を感じる。そうだ、僕は「難しい言葉」を使ってしまう人間なんだ。こうやって普通におしゃべりをしているけれど、違う種類の人間だったんだ。
まあ、単に僕がナチュラルボーン頭が高い人間なせいでもあると思いますけれども。会話はいつもマインスイーパ！

今夜はアニメを消化しつつtensorflowを触る。その「つつ」は不可能では？

お昼から仕事。日本語OCRの調査など。商用のソフトだとこんぐらいできる、というベースラインはわかったのだけど、まずどうやってそこまで到達したものか悩ましい。泥臭いチューニングとかは嫌ちゅらよ。（でも、Region Proposal Networkみたいなものにサジェストしてもらうのは案外悪くないかもとか、Attention Modelのこととか）

明日は実験用に日本語文字列画像を大量生成します。とりあえず日本語Wikipediaのデータをダウンロードした。

ちょっと疲れている。睡眠時間が若干短いせいかもしれないし、水曜日ってのはそもそもこんなものだったような気もする。うーむ。