andante

お昼過ぎに起きて、計算を走らせつつ散歩に出ました。秋葉原のヨドバシカメラでデジタルペーパーが展示されてないかと期待したのだけど、見つけられませんでした。うーむ。一般向けに売られていることは確実なんだけど。あとiPad Proも見てみたかったんだけど、ペンがついてなかったから試していません。
ついでに大きなディスプレイとかペンタブレットとかいろいろ見ました。ペンタブレットは別にほしいわけでもないけれど。あと大きなディスプレイも別に。置く場所ないし。でももっと大きくなったら楽しいとは思う。
秋葉原、五年ぶりくらいに行ったんだけど、まあ僕の苦手な盛り上がり方の街という感じで、いやまあ僕の得意な盛り上がり方なんてものはないのだけど、しんどいなあと思いました。というか単純に人が多すぎるのがだめなのかも。

あてどなく歩いていたらfから飲みに誘われたので夜は居酒屋で宇宙の話とかしました。良い週末だったといえるでしょう。よかった。

ところで計算はなかなか収束しません。というか今更だけどこれ僕のプロジェクトじゃなくて会社で使う構造なんだから会社の時間でやるべきだったのではないか。まあ僕自身の経験にもなるから構わないけど。tensorboardのグラフ、すこしずつどんな気持ちで眺めれば良いのかわかってきた気がする、けどまだどうなれば成功と思えるのかははっきりしない。成功してないから。うーむ。一旦チュートリアルをそのままの形で動かしてみるべきかもしれない。

昨晩はAWSに（また）CUDA環境を作っていたら朝になりました。Ubuntu+CUDA7.5。NVIDIAのドライバをインストールする手つきにも慣れが出てきました。そんなものに慣れとうなかった。
pyenvでPython環境を作ったのだけど、どうもOpenCV3のビルドスクリプトがpyenvのPythonを認識してくれない？のか、ずっと躓いていました。結局どうしたんだっけ。ビルドだけはうまくいったんだけどインストールに失敗するから手動でcv2.soをコピーしたんだっけ。はあ。会社でやったとき上手くいったように見えたのはUbuntuに最初から入ってた？（それかapt-getで入る）Python2が使われていたんでしょうね。

今日はお昼からOpenCVと格闘して、夕方にはtensorflowをビルドしました。これでAMIイメージを作ったので今後（そんなものがあるのか？（8xインスタンスが必要になったときとか（そんなものがあるのか？）））は楽になるはず。

ところでRecursive CNNを論文を参考にtfで実装してみたのですけど挙動がおかしい。クロスエントロピーがぜんぜん減らなくて、sparsityが１近くに張り付いている。なんだろう、パラメータを調整すれば良くなるんだろうか。うーむ。

人と関わるという過程は、要約してしまえば、人を嫌いになってゆく過程でしかないのかもしれないと、最近ときどき思う。（きっとそんなことはないよ。）

やはりお金と時間と技術力を使った冗談はおもしろいという事実を再確認するばかりだ。

お昼から仕事。すこしずつtensorflowの気持ちがわかってきつつありますが、やっぱりまだ世界観を根本的にとらえ損ねている気がします。つまみ食いばかりしていないでチュートリアルをもっとちゃんと読むべきなのかも。
来週は論文の実装に入れるだろうか。まだBPTTのことがよくわからないけど。

仕事のあとは会社の花見でしたが、途中で雨が降ったのでいまいち。でも桜のコンディションはとてもよかった。ひさびさに夜桜の圧倒的なさまを感じられたような気がします。

土日はなにしようかなあ。あ、機械学習勉強会の課題解かなきゃ。あとはまあ、LSTMをtfに移植とか。同じことしているコードを今日見つけたので、それを参考に書けるかなと思います。

昨晩はword2vecのサンプルを見較べて何がどうなっているのか探っていましたが結局あまりよくわかっていません。このbazelとかいうビルドツールのことがわかっていないせいもあるかもしれません。こういうのを見るにつけ、Chainerのつるつるした感じは偉大だったのだなあと思います。

仕事は学習用の画像作成と論文読み。画像は慣れないpythonスクリプトでどうにか100000枚ほど自動生成できたので問題なし。pythonの良さというものがすこしだけわかった気がした（パターンマッチで複数変数に同時に束縛できるというだけだけど（Swiftにもあるし））。
あとは論文を読みつつtensorflowに移植するコードを書き始めたのだけど、まだいまいち勝手が分からない。とりあえず再帰畳み込みレイヤは書けたと思うから、次は言語モデルとアテンションだ。

春から会社に入る人に対しては「社会が厳しくないと都合が悪い連中に構う必要はない、一緒に社会をナメていこうな」と贈りたいのですが（別にそうでもないのですが）、そんなことをうそぶく僕もいずれ誰かの上司になり、誰かの退職理由になったりするのでしょう。つらいですね。
就職活動も大学院ももう嫌で仕方が無かったから転がり込んだバイト先で、社会常識も結局たいして身につかず電話も碌にとれないけれど、そういうのも含めて社会というやつは存在しているはずで、迷惑をかけるとかかけないとかいうのは交渉の中で決まってゆくことなのだ、というような気持ち。

明日は会社の花見だそうですが、まあなんというかなんで桜の下で宴会などやらねばならんのか（しかも夜はたぶん寒い！）という気分はあります。というか大学院に入るまで花見なんてやったことなかったし、この文化はいったい何なんだ。
まあ、行けばそれなりに楽しいんでしょうが。すくなくとも経験的にはそう予想される。

お昼から仕事。日本語OCRの調査など。商用のソフトだとこんぐらいできる、というベースラインはわかったのだけど、まずどうやってそこまで到達したものか悩ましい。泥臭いチューニングとかは嫌ちゅらよ。（でも、Region Proposal Networkみたいなものにサジェストしてもらうのは案外悪くないかもとか、Attention Modelのこととか）

明日は実験用に日本語文字列画像を大量生成します。とりあえず日本語Wikipediaのデータをダウンロードした。

ちょっと疲れている。睡眠時間が若干短いせいかもしれないし、水曜日ってのはそもそもこんなものだったような気もする。うーむ。

昨晩もword2vecの説明を読みました。一応全体構造はわかったけど、なんで（特にskip-gram）こんなのでああいう性質の良い埋め込みが得られるのかはぜんぜんピンとこないなあと思いました。というか具体的な回帰の計算もよくわかってない気がする。まあこの先はコードを。

仕事の前に病院。今日はとても空いてて誰もいなかったのですぐ終わりました。調子はすこし良くなっているのかもしれないけれど、まあそんなの何回目だよって感じだし。

仕事は日本語OCRの調査。領域検出も既存手法ではどうやらぜんぜんだめで、これは学習すればどうにかなるのかどうか、ぜんぜんわかりません。あとはCNNを使った手法の論文を読んだりしたけど、これはオーバーキルなんじゃないだろうかと心配になる。既存研究の地図がぜんぜん描けてないので、すごく的外れなことをやってないだろうか。うーむ。

普通に使ったつもりの言葉に、「難しい言葉知ってるんですね」とか言われちゃうと、ちょっと疎外感？を感じる。そうだ、僕は「難しい言葉」を使ってしまう人間なんだ。こうやって普通におしゃべりをしているけれど、違う種類の人間だったんだ。
まあ、単に僕がナチュラルボーン頭が高い人間なせいでもあると思いますけれども。会話はいつもマインスイーパ！

今夜はアニメを消化しつつtensorflowを触る。その「つつ」は不可能では？

昨晩はword2vecの説明を読んでから寝ました。可能な単語すべてとのsoftmaxを取ると死ぬのでかわりに「ノイズ」として選ばれた単語集合に含まれないことを要求すると高速になる、みたいな話。ノイズはランダムに選べば良いのかな。へえ。

お昼から仕事。日本語OCRの現状を調査。フリーで使えるソフトは基本的にぜんぜんダメなんだけど、これは前処理が不十分だからなのか学習が不十分なのか、あるいは、前処理と学習をちゃんとすればどのくらい改善するのか、みたいなことがまだわかりません。そしてこれは実際やってみないとわからないんだろうなあ。うーむ。これはたぶん泥臭いチューニング作業になる気がする。うーむ。

明日は病院（定例）。なんかまた風邪っぽさが出てきている気がする。嫌だな。

もしかしたら会えるかもと思って公園に行ったら、もしかしたら会えるかもと思って待っていた君がいて、なんだそれ循環参照かよって言いながら一緒に帰る。「あそこの点線ってさ」「どれ」「キリトリセンのところで折ったみたいだよね」「ああ、アスファルトのひびがってこと」「道路に書いてる縦ながーい文字でさ、キーーリーートーーリーーセーーンーーって書くの」「はさみの絵も書こう」「えーなにそれ」「え、書いてない？キリトリセンのところにはさみの……なにしてんの」「チョキチョキ」「グー」「あっ、じゃあグリコね」「そのペースで帰るの日が暮れるんじゃないかな」「あっ、西に向かって進めば日が暮れるのちょっとだけ遅くなるよ」「あっちって西なの？」「西だよ？」

昨日はTensorBoardを動かしてみていました。これ、画像データの可視化とか損失関数の変化が出たりするのはとてもよいんだけど、ネットワークグラフが出るのは使いかたがいまいちよくわからない。

早起きしてaとßとその友人と花見をしました。花はたいして見なかったけど（あまり咲いてなかったので）複素多様体のモジュライ空間について教えてもらいました。モジュライって言葉の響きが好きなので（モジュラーイ！）気になっていたのですが、定義は知らなかったのでよかった。
aは数学をやっているので、数学に関する話題のいろいろを知っていてとても楽しい。僕はそんな風に何かに特化することができなかったなあとちょっとだけ心が疼く。最近はそれほどでもない。
独りで散歩するのもいろいろな発見があって楽しいけれど、みんなで散歩するのもまた違った相互作用の機会があって楽しいなあと思いました。でもちょっと歩きすぎた。昨日もけっこう歩いたし、疲れた。

ところで、Loftに行ったら
https://www.youtube.com/watch?v=5f3ILHYcZDg
こういうのが売っていたので欲しいなあと思いました。12kだったので買えちゃうな。そんな理由でものをどんどん買っていてはいけないような気がするけど、これ無限に見てられるんだから、つまり時間あたりの費用はゼロってことでしょ？（違うよ）

今夜も早く寝るべきですが、いいかげん自前のモデルをtensorflowに書きたいなとも思います。というかアニメ観なくていいんだっけ？

昨晩はニューラルネットワークのフレームワークをいろいろ調べてたら遅くなってしまいました。今の時点でそんなに気にする必要はないんだけど、遅すぎたり使いづらすぎたりするとさすがにつらいので、そこは回避したい、という思いです。luaを覚える時間的余裕があればTorchとか良さそうなんだけど、それは一旦妥協してtfかなあと思います。C++はできれば書きたくない。
パフォーマンスというとMicrosoftにはCNTKという子がいて、彼は並行処理のオーヴァヘッドが異常に小さいらしいのですが、それは1bit SGDという手法で実現されているようです。こいつのことはちゃんと読んでないのだけど、伝達する勾配を1bitまで量子化してしまっても差分を次のターンで送るなどすれば長期的にはほとんど影響がないという話なんだと思う。信号処理でも同じような手法が使われているらしいけどよくわからない。ディザリングアルゴリズムでそういう感じのがあったと思うけど同じなんだろうか。

お昼に起きて、上京してきた母と先祖の墓参りにゆきました。僕は中学一年で祖父が亡くなったとき以来だと思っていたのだけど、大学の入学式の後にも来ているらしい。記憶にない。将来はあなたがこの墓を継ぐのよと最近よく言われるのだけど、できればそんなのやりたくない（でも墓にお金を掛ける気持ちは最近ちょっとだけわからないでもない気はしてきた）。卒塔婆？を追加購入して墓に設置していたのが課金アイテムみたいでおもしろいなと思いました。死んでなお墓の豪華さで競争しなければならないんでしょうか。

せっかく休日に外に出たので電器屋でデジタルペーパーの書き味でも試すかと思ったのだけど発見できず。横着しないで秋葉原まで行けばよかったかな。

明日はßとその友人と花見に行きます。花がどうなってるのかは不明。まあ別にそんなのは些細な問題なんだけども。

http://www.cast-japan.com/gigamic-quarto/
おもしろそうなボードゲーム（Webでちょっと遊べておもしろかった）。遊ぶ相手いないけど。

「人工知能がヒトラー礼賛」語呂が良すぎるし、これこそが人工知能の成果なのではないだろうか。

人類がもしほんとうに囲碁の評価も覚束ないような有様なのだとしたら、人工知能の道徳と対決しなければならない日も遠くないのではないだろうか。（そうか？）

昨晩はTensorFlowのチュートリアルをちょっと読みました。Chainerと違って、徹底的に計算グラフを先に構築して後からデータをバインドするという形になっているので、慣れるまでちょっと混乱する。

仕事はUbuntu環境整備。UbuntuはUbuntuで多少変則的だったようですが、それでもapt-getで諸々入るのでずいぶん楽でした。macのvagrantで動かしたら50秒掛かった処理が0.5秒で終わったのでGPUすげーと思いました。
ただ、Caffe+Pythonは並列処理ができないらしいので、せっかく４枚も積んでるのに１枚しか動かせていません。これはよくない。とりあえず安い方のインスタンスに乗り換えることになりそうですが、ちゃんと並列計算する方法を検討する必要がありそうです。Pythonで書かれてるレイヤーをCaffeに移植するとかかなあ。それはできればやりたくないのだけど……。

あとRasPiでトイレの個室の占有状態を検知するプロジェクトを進めました。ついに物理層へ進出です。無線LANが不安定とかいろいろ問題はあるのですが、とりあえずそれっぽく動かすことはできたので、今日から我が家もIoTだな！という感じでした。フムン。

さて週末。実は明日も明後日も出掛ける用事があってなんか忙しい。明日は母が上京してきて墓参りに行くのについて行きます。会うぜ母親、参るぜ墓。