diary

0901

どうでもいいことに対して規則を設けてしまうことの愚について。


早起きして病院で点滴。最終日。これで何か良くなるのか結局よくわからないけど、良くなってくれるといいと思う。

仕事は教科書を読むのがメイン。あとLSTMで日本語の分かち書きをやるのを試したり。昔はdynamic_rnnとかなかった気がするんだけど、今はこういうのがあって便利なんですね。実装自体は一時間くらいでできたんだけど、学習が遅い。Jupyter notebook上でやるのがそもそもよくないのかもしれない。まあ、別にそんなに真面目なプロジェクトではないので、気が向いた時にまた進めましょう。


せっかく三日続けて早起きしたので明日も早めに起きて早めに会社いって早めに帰るなどできたら理想的だなと思う。なので早めに寝たい。明日が終わればまた土日だ。


0902

夜中に断続的に目が覚めてしまうのに慣れてきてしまった感じがあります。よくない。


すこし早起きして早めに会社へ。早起きは三文の得と言いますけれども、とりあえず早く行くと早く帰れるという程度しか得を享受できなかった気がする。これが三文なのか。

計算機巫女業はいまいち。そういえば、ミニバッチを小さくすると学習率も下げないと上手くゆかない実例に遭遇しました。うーん、どこから手をつけるのが一番効率的なのかよくわからない。

あとLSTMで分かち書きやるのを進めました。一応それっぽくは動く。ただ、あらためて探すと同じことをやってる人が見つかったので、べ、別に最初からそんなやる気なかったし……みたいな気持ちになりました。でもこれでLSTMに少し慣れることができたから、いい加減bot作る計画を再開するかね。


やっと週末。すこし喉がおかしい。ゆっくり眠りたい。


0903

昨晩は比較的早めに寝て、今日はわりと早めに起きました。午前中に起きるとお昼ご飯が必要になるんですね。忘れていました(食べなかったけど)。

今日はLSTMオートエンコーダを書きました。実はLSTMじゃなくてGRUなんだけども(LSTMだと状態が二種類あるのでちょっと解釈に困った)。GRUで性能が足りないならLSTMに戻します。
一応動くので学習を回してますが、まあ何かを覚えてはいるけど足りないという感じ。もうちょっと待てば良くなるんだろうか。あとちゃんとtrain/valで評価できるようにすべきなんだよな、あとビームサーチも書かないといけない。そこまでできたらようやくAAEの枠組みに載せることを考えます。


サ!!10話ですけども、まあお話本体の感想は保留なんだけど、津島さんが寝るとき使ってたサメハンモックがめっちゃかわいいと思ったという話でした。(でもあれ絶対暑いよな……)あれって合宿で楽しいと思ったから持ってきたのかな、それとも普段からあんなので寝てるのかな(でも五話で映った自室にそんなのなかった)。


今夜もそんなに夜更かししないでいい感じに寝ておきたい。明日はどうしようかな、ちょっとだけ外に出てみてもいいかも?明日もお昼ご飯がなくてお腹がすくね。


0904

今日もお昼前に起きました。昨晩から動かしていたLSTMオートエンコーダは、なるほどという感じの動きをするけれどもあいかわらず学習が遅い。

ところで、AWSでGPUのスポットインスタンスを借りてみたのだけど、こっちでやると、ミニバッチサイズと実行時間の間にほとんど相関がない(50でやっても300でやっても倍にさえならない)っぽいので、どこかに巨大なオーヴァヘッドがいるのかなという感じがあります。まあそれならバッチ大きくしたもの勝ちっしょ、ということで300で試す(500になるとメモリが載りきらないようだ)。

夕方にすこしだけ散歩しました。一時間ちょっとで5キロ強。スカイツリーの下まで行ったんだけど、なんか疲れたから昇ったりはしませんでした。

夕飯は寿司の出前を取りました。ピザより安い。


明日は仕事の前に病院。なんの話するか決めてないけど、まあこのところ落ちついてるからな。


0905

仕事の前に病院。そういえば眠りが浅いんですよね〜という話をしたら薬を少量出してくれることになった。うまく機能してくれるといいのだけど。

計算機巫女業は相変わらず神頼み。そういえば、学習率を途中で一桁下げてみたら?となぜか思ったので(なぜだったかは忘れた)そうしてみたらlossが覿面に下がった。前にもそうなるのを見たことがあったけど、これAdamじゃん、なんでそういうのが必要なの?
ちょうど読んでる教科書に「もし1個だけしかパラメータをチューニングできないとしたら学習率を選べ」みたいなこと書いてあって、せやな、と思った。


LSTMオートエンコーダは、いろいろ手を入れつつもいろいろ試行錯誤中。短いといけるんだけど長いとだめになるのは、隠れ層を拡大すべきなのかLSTMに替えるべきなのか…… 先にLSTMを試してみようかなあ。


決定論が正しければ、因果的関係とは単に時間の隔てられた論理的必然に過ぎない。コインの裏と表の関係だと思えばそれは文法的と呼んでもいいかもしれない。
決定論が正しくなければ、そもそも何かが因果的であることなどできない。

なぜこんなことを急に思ったのかは忘れた。ヒュームは買ったきり序文しか読んでない。


0906

昨晩は……そうだ、RNNオートエンコーダをGRUからLSTMに替えてたんだった。ところでHighway RNNの実装も見つけたのでこれも試してみたい気持ちがあるぞ。


計算機巫女業はすこし前進。いっそ最初から学習率を一桁落とせばいいじゃない、というのと、あと隠れ変数の次元数を上げたのと。あとはこれでDiscriminatorが仕事してくれればいいのだが、それはここから調整していこう。


今夜はcurriculum learning(綴りに自信がない)をやってみようかなと思います。短い文から始めて、途中から長い文を含むデータセットに移行するの。三段階くらいでやればいいかな。長さのヒストグラムなどがあってほしい気持ちがあるけど、どうすれば見られるかしら。


「〈赤〉あるよね」「ある・・・」


0907

昨晩はTensorBoardに複数の実行結果を重ねて表示できるように試みたりしました。今まで使ってなかったけどこれ便利だ。だいたいの数字じゃなくてちゃんと差がはっきりわかるのは助かる。ただいくつも表示すると重い。


計算機巫女業は難航。AEに使うOptimizerとGANに使うOptimizerを別々にしてたんだけど、それを統合したら挙動が変わってしまった。なんでだ……?

あと、データボリュームコンテナをエクスポートするためのコンテナを簡単に作るDockerイメージなんかを作りました。もっとも、別に学習結果を保存するのにデータボリュームなんか使わないでどっかマウントしちゃえばいいんじゃないのという気はする。いや、今回の発明によってこっちのほうが便利な可能性が出てきたのか?まあどうでもいいや。


今夜はiPhone7の発表だそうで、僕は買い換えのタイミングだから気になってるんだけど、はてさて。しかしせっかく最近早寝早起きなのに、こんなの観てしまって大丈夫なのかしらん。


そういえばRNNオートエンコーダはcurriculum learningを試しています。まだ一回目の途中なので効果はまだわからない。もうちょっと難易度を上げるのを遅らせてもよかったかもしれない。


0908

昨晩はAppleの製品発表会を観ていました。Apple Watchの新型が来たのでまたちょっとだけほしくなったけど、腕時計まで二年に一度買い換える暮らしはちょっとなあという躊躇があります。とはいえボーナスでも出たらそのタイミングで買ってもいいのかも。いや他になんかあるでしょうけど。計算機とか(はいはい)。

ところでiPhone7はSuica対応だそうなので、使ってるのはPASMOなんだけど乗り換えかなあと考えています。iPhone7を買うのは確定。小さいほうね。


計算機巫女業はいろいろ試行錯誤するのにも飽きてきたのでちゃんとした評価方法を実装しようとしたのだけど、なかなか難しい。とりあえず対数尤度でいいっぽいのだけど、隠れ変数からの生成の場合それは推定しかできないので、ガウシアンカーネルを使って推定するんだけども、そのパラメータを決定するために交差検定とかやるのがけっこう大変。というか手許のmacでは力不足感がある。明日ももうちょっと試してみるけど。


RNNオートエンコーダは、curriculum learningを試してみた。確かにちょっと良さそうなのでこれで行きますが、具体的にどのへんでレベルを上げるとよいのかとかはまたハイパーパラメータなので困る。

今夜は文字の埋め込みの初期値を文字単位のword2vecでやれないか試してみようと思います。skip-gramって結局どう作ればいいんだっけ。調べなくては。