diary

0401

やはりお金と時間と技術力を使った冗談はおもしろいという事実を再確認するばかりだ。


お昼から仕事。すこしずつtensorflowの気持ちがわかってきつつありますが、やっぱりまだ世界観を根本的にとらえ損ねている気がします。つまみ食いばかりしていないでチュートリアルをもっとちゃんと読むべきなのかも。
来週は論文の実装に入れるだろうか。まだBPTTのことがよくわからないけど。

仕事のあとは会社の花見でしたが、途中で雨が降ったのでいまいち。でも桜のコンディションはとてもよかった。ひさびさに夜桜の圧倒的なさまを感じられたような気がします。


土日はなにしようかなあ。あ、機械学習勉強会の課題解かなきゃ。あとはまあ、LSTMをtfに移植とか。同じことしているコードを今日見つけたので、それを参考に書けるかなと思います。


0402

昨晩はAWSに(また)CUDA環境を作っていたら朝になりました。Ubuntu+CUDA7.5。NVIDIAのドライバをインストールする手つきにも慣れが出てきました。そんなものに慣れとうなかった。
pyenvでPython環境を作ったのだけど、どうもOpenCV3のビルドスクリプトがpyenvのPythonを認識してくれない?のか、ずっと躓いていました。結局どうしたんだっけ。ビルドだけはうまくいったんだけどインストールに失敗するから手動でcv2.soをコピーしたんだっけ。はあ。会社でやったとき上手くいったように見えたのはUbuntuに最初から入ってた?(それかapt-getで入る)Python2が使われていたんでしょうね。


今日はお昼からOpenCVと格闘して、夕方にはtensorflowをビルドしました。これでAMIイメージを作ったので今後(そんなものがあるのか?(8xインスタンスが必要になったときとか(そんなものがあるのか?)))は楽になるはず。

ところでRecursive CNNを論文を参考にtfで実装してみたのですけど挙動がおかしい。クロスエントロピーがぜんぜん減らなくて、sparsityが1近くに張り付いている。なんだろう、パラメータを調整すれば良くなるんだろうか。うーむ。


人と関わるという過程は、要約してしまえば、人を嫌いになってゆく過程でしかないのかもしれないと、最近ときどき思う。(きっとそんなことはないよ。)


0403

お昼過ぎに起きて、計算を走らせつつ散歩に出ました。秋葉原のヨドバシカメラでデジタルペーパーが展示されてないかと期待したのだけど、見つけられませんでした。うーむ。一般向けに売られていることは確実なんだけど。あとiPad Proも見てみたかったんだけど、ペンがついてなかったから試していません。
ついでに大きなディスプレイとかペンタブレットとかいろいろ見ました。ペンタブレットは別にほしいわけでもないけれど。あと大きなディスプレイも別に。置く場所ないし。でももっと大きくなったら楽しいとは思う。
秋葉原、五年ぶりくらいに行ったんだけど、まあ僕の苦手な盛り上がり方の街という感じで、いやまあ僕の得意な盛り上がり方なんてものはないのだけど、しんどいなあと思いました。というか単純に人が多すぎるのがだめなのかも。

あてどなく歩いていたらfから飲みに誘われたので夜は居酒屋で宇宙の話とかしました。良い週末だったといえるでしょう。よかった。

ところで計算はなかなか収束しません。というか今更だけどこれ僕のプロジェクトじゃなくて会社で使う構造なんだから会社の時間でやるべきだったのではないか。まあ僕自身の経験にもなるから構わないけど。tensorboardのグラフ、すこしずつどんな気持ちで眺めれば良いのかわかってきた気がする、けどまだどうなれば成功と思えるのかははっきりしない。成功してないから。うーむ。一旦チュートリアルをそのままの形で動かしてみるべきかもしれない。


0404

昨晩はまたモデルをいろいろいじっていたのだけど、どうやらLocal Response Normalizationが本質的に効いていたみたいで、これをタイミングよく挟むとちゃんと学習が進むようになりました。遅いけど。あと参考にしてる論文には特にそういうこと書いてないし。そういえばこれをBatch Normalizationにしたらどうなるんだろう?とかも気にはなる。でもこれ僕のプロジェクトじゃないし家でやるのはもうやめにしよう。


仕事はRNNのことをいろいろ調べました。BPTTのtruncateをどういう感じでやるのが正解なのかまだいまいちわかっていません。あと、文章のように長さが不定の場合にどうすればいいのか、これはなんかパディングで埋めるとか長さごとに何種類かのモデルを作るとか方法があるみたいだけど、ふーむという感じ。明日もいろいろコード読んで理解を深めます。


仮に万物理論が完成したとして、世界に存在する全てのものが単一の原理で説明できたとすると(もちろんそれは物理学の理論がそうであるというだけでそういった単一原理や要素の実在を主張するものではないのですが、逆に、そういう世界観を物理の言葉で述べたものと思ってください)、それはつまり、絶対無分節者であるところの世界それ自体というものということになるんだろうか。世界というのは、本質によって区切られたパーツの寄せ集めでできているのではなく(あるいは、さまざまな本質たちの直積ではなく)、ただ世界の中のさまざまの現象をそのように捉えているに過ぎない(だからこれは「文法的」とも言える)。
世界が単一の法則に支配されているのなら、机の上にコップがある世界とない世界の両方は並立しない。世界からこのコップだけを取り去ることはできない。コインの表側だけが存在することはできないように。あらゆるものは世界そのものを分有しているのだから。世界は世界全体で世界である。どこかを切り落とすことはできない。
私自身もそのように世界にみたされた世界の一部であり、この意味で自由意志は存在しないし、この指先の内側と外側を区別するものもない。しかし現にここには触れる指先が存在する。触れると呼ぶ行為と感覚がある。〈私〉は世界の一部だろうか。〈私〉は世界を分有しないように見える。〈私〉には自由意志があるように見える。〈私〉だけを消去した世界。これはすこし怪しい。それとも〈私〉もまた文法に過ぎないのだろうか。こんなにも、こんなにもここにいるのに。


0405

昨晩は勉強会の演習問題解説を書いてたらすっかり遅くなってしまいました。っていうのも三回目のような気がするし、学習能力がない。


今日はちょっと腰を据えてtensorflowのドキュメントを読むなどしました。変数スコープの概念(Pythonのそれではなく)がすこしわかってきたので、最近扱っているコードをすこしリファクタしました。あとはRNNの書きかたについてコードを読んだり。なんとか扱えそうな感じがしてきたので、明日は論文の実装を試そうかなと思います。データとか準備してないけど。


春アニメが始まりだしたのだけどぜんぜん観られていません。アニメ観るより楽しいことがいろいろあるからなんだけど、それは瞬間最大風速的なもののような気もする。今見ておかないと三ヶ月後に後悔するかもしれないんだぞ(アニメごときで何を)。


0406

昨晩は結局のところ「コンクリート・レボルティオ」一期が無料で観られたので観ていました。これおもしろいじゃないの。たぶん今週はこれをちょっとずつ観てゆきます。二期も始まるしね。


仕事はちょっと順調。ようやく論文に書いてあったモデルをtensorflowに移植できたので、明日はデータを入れてみます。でもほんとにうまくゆくんだろうか。というかこんな深い構造いきなり学習できるのかな。うーむ。あとデータもそのまま入れるってわけにはゆかないのでいろいろ準備が必要。


今夜はもうアニメを観る以外なにもしません!適当な時間になったら寝る!


0407

最近よく書きかけの日記を操作ミスで吹っ飛ばします。吹っ飛ばしました。


仕事は挫折。やっと学習用データを順番に流し込む機構を作ったのだけど、GPU機で動かそうとしたらメモリ不足で動かない。マジかよ。こういうのは原因を調べようにもどうしたものかわからないし、バッチを小さくするしかないんだろうか。うーむ。なんか不自然なんだけどなあ。


僕はやっぱり人間に造られた存在の倫理や幸福についてずっと考えているんだなと思いました。考えているというか、気にしている、というくらいだけど。なんでだろ。というかそれは「膚の下」でやってたんだしあれでよくない?


明日は前のプロジェクトの打ち上げ?ですが、今日はちょっと頭痛がして具合がよくなかったので、ちょっと心配。まあだいじょうぶでしょう。


0408

今日も頭痛がしてぜんぜん頭が回らないので打ち上げは行かず早退しました。なんなんだ。

仕事もなにひとつうまくゆかない。一回休み。