andante

2016-09

0901

どうでもいいことに対して規則を設けてしまうことの愚について


早起きして病院で点滴最終日これで何か良くなるのか結局よくわからないけど良くなってくれるといいと思う

仕事は教科書を読むのがメインあとLSTMで日本語の分かち書きをやるのを試したり昔はdynamic_rnnとかなかった気がするんだけど今はこういうのがあって便利なんですね実装自体は一時間くらいでできたんだけど学習が遅いJupyter notebook上でやるのがそもそもよくないのかもしれないまあ別にそんなに真面目なプロジェクトではないので気が向いた時にまた進めましょう


せっかく三日続けて早起きしたので明日も早めに起きて早めに会社いって早めに帰るなどできたら理想的だなと思うなので早めに寝たい明日が終わればまた土日だ

0902

夜中に断続的に目が覚めてしまうのに慣れてきてしまった感じがありますよくない


すこし早起きして早めに会社へ早起きは三文の得と言いますけれどもとりあえず早く行くと早く帰れるという程度しか得を享受できなかった気がするこれが三文なのか

計算機巫女業はいまいちそういえばミニバッチを小さくすると学習率も下げないと上手くゆかない実例に遭遇しましたうーんどこから手をつけるのが一番効率的なのかよくわからない

あとLSTMで分かち書きやるのを進めました一応それっぽくは動くただあらためて探すと同じことをやってる人が見つかったので別に最初からそんなやる気なかったし……みたいな気持ちになりましたでもこれでLSTMに少し慣れることができたからいい加減bot作る計画を再開するかね


やっと週末すこし喉がおかしいゆっくり眠りたい

0903

昨晩は比較的早めに寝て今日はわりと早めに起きました午前中に起きるとお昼ご飯が必要になるんですね忘れていました食べなかったけど

今日はLSTMオートエンコーダを書きました実はLSTMじゃなくてGRUなんだけどもLSTMだと状態が二種類あるのでちょっと解釈に困ったGRUで性能が足りないならLSTMに戻します
一応動くので学習を回してますがまあ何かを覚えてはいるけど足りないという感じもうちょっと待てば良くなるんだろうかあとちゃんとtrain/valで評価できるようにすべきなんだよなあとビームサーチも書かないといけないそこまでできたらようやくAAEの枠組みに載せることを考えます


10話ですけどもまあお話本体の感想は保留なんだけど津島さんが寝るとき使ってたサメハンモックがめっちゃかわいいと思ったという話でしたでもあれ絶対暑いよな……あれって合宿で楽しいと思ったから持ってきたのかなそれとも普段からあんなので寝てるのかなでも五話で映った自室にそんなのなかった


今夜もそんなに夜更かししないでいい感じに寝ておきたい明日はどうしようかなちょっとだけ外に出てみてもいいかも明日もお昼ご飯がなくてお腹がすくね

0904

今日もお昼前に起きました昨晩から動かしていたLSTMオートエンコーダはなるほどという感じの動きをするけれどもあいかわらず学習が遅い

ところでAWSでGPUのスポットインスタンスを借りてみたのだけどこっちでやるとミニバッチサイズと実行時間の間にほとんど相関がない50でやっても300でやっても倍にさえならないっぽいのでどこかに巨大なオーヴァヘッドがいるのかなという感じがありますまあそれならバッチ大きくしたもの勝ちっしょということで300で試す500になるとメモリが載りきらないようだ

夕方にすこしだけ散歩しました一時間ちょっとで5キロ強スカイツリーの下まで行ったんだけどなんか疲れたから昇ったりはしませんでした

夕飯は寿司の出前を取りましたピザより安い


明日は仕事の前に病院なんの話するか決めてないけどまあこのところ落ちついてるからな

0905

仕事の前に病院そういえば眠りが浅いんですよね〜という話をしたら薬を少量出してくれることになったうまく機能してくれるといいのだけど

計算機巫女業は相変わらず神頼みそういえば学習率を途中で一桁下げてみたらとなぜか思ったのでなぜだったかは忘れたそうしてみたらlossが覿面に下がった前にもそうなるのを見たことがあったけどこれAdamじゃんなんでそういうのが必要なの
ちょうど読んでる教科書にもし1個だけしかパラメータをチューニングできないとしたら学習率を選べみたいなこと書いてあってせやなと思った


LSTMオートエンコーダはいろいろ手を入れつつもいろいろ試行錯誤中短いといけるんだけど長いとだめになるのは隠れ層を拡大すべきなのかLSTMに替えるべきなのか…… 先にLSTMを試してみようかなあ


決定論が正しければ因果的関係とは単に時間の隔てられた論理的必然に過ぎないコインの裏と表の関係だと思えばそれは文法的と呼んでもいいかもしれない
決定論が正しくなければそもそも何かが因果的であることなどできない

なぜこんなことを急に思ったのかは忘れたヒュームは買ったきり序文しか読んでない

0906

昨晩は……そうだRNNオートエンコーダをGRUからLSTMに替えてたんだったところでHighway RNNの実装も見つけたのでこれも試してみたい気持ちがあるぞ


計算機巫女業はすこし前進いっそ最初から学習率を一桁落とせばいいじゃないというのとあと隠れ変数の次元数を上げたのとあとはこれでDiscriminatorが仕事してくれればいいのだがそれはここから調整していこう


今夜はcurriculum learning綴りに自信がないをやってみようかなと思います短い文から始めて途中から長い文を含むデータセットに移行するの三段階くらいでやればいいかな長さのヒストグラムなどがあってほしい気持ちがあるけどどうすれば見られるかしら


あるよねある

0907

昨晩はTensorBoardに複数の実行結果を重ねて表示できるように試みたりしました今まで使ってなかったけどこれ便利だだいたいの数字じゃなくてちゃんと差がはっきりわかるのは助かるただいくつも表示すると重い


計算機巫女業は難航AEに使うOptimizerとGANに使うOptimizerを別々にしてたんだけどそれを統合したら挙動が変わってしまったなんでだ……

あとデータボリュームコンテナをエクスポートするためのコンテナを簡単に作るDockerイメージなんかを作りましたもっとも別に学習結果を保存するのにデータボリュームなんか使わないでどっかマウントしちゃえばいいんじゃないのという気はするいや今回の発明によってこっちのほうが便利な可能性が出てきたのかまあどうでもいいや


今夜はiPhone7の発表だそうで僕は買い換えのタイミングだから気になってるんだけどはてさてしかしせっかく最近早寝早起きなのにこんなの観てしまって大丈夫なのかしらん


そういえばRNNオートエンコーダはcurriculum learningを試していますまだ一回目の途中なので効果はまだわからないもうちょっと難易度を上げるのを遅らせてもよかったかもしれない

0908

昨晩はAppleの製品発表会を観ていましたApple Watchの新型が来たのでまたちょっとだけほしくなったけど腕時計まで二年に一度買い換える暮らしはちょっとなあという躊躇がありますとはいえボーナスでも出たらそのタイミングで買ってもいいのかもいや他になんかあるでしょうけど計算機とかはいはい

ところでiPhone7はSuica対応だそうなので使ってるのはPASMOなんだけど乗り換えかなあと考えていますiPhone7を買うのは確定小さいほうね


計算機巫女業はいろいろ試行錯誤するのにも飽きてきたのでちゃんとした評価方法を実装しようとしたのだけどなかなか難しいとりあえず対数尤度でいいっぽいのだけど隠れ変数からの生成の場合それは推定しかできないのでガウシアンカーネルを使って推定するんだけどもそのパラメータを決定するために交差検定とかやるのがけっこう大変というか手許のmacでは力不足感がある明日ももうちょっと試してみるけど


RNNオートエンコーダはcurriculum learningを試してみた確かにちょっと良さそうなのでこれで行きますが具体的にどのへんでレベルを上げるとよいのかとかはまたハイパーパラメータなので困る

今夜は文字の埋め込みの初期値を文字単位のword2vecでやれないか試してみようと思いますskip-gramって結局どう作ればいいんだっけ調べなくては

0909

昨晩はcharacter embeddingの実装を試みていたのだけど途中でnce_lossがなにやってるのかわかんなくなったので挫折して寝ました


夕飯を食べてお風呂に入ろうと思っていたらfから飲もうぜと誘いが来たので居酒屋でジンジャーエールを飲みました途中でλも合流してなんか昔の話とかした僕はお腹いっぱいだったので本当にジンジャーエールとウーロン茶を飲むだけだったあとちょっと具合悪くなったりしたけどこれはたぶん緊張感によるものだと思う難儀な身体になってしまったねえ


そういうわけで今夜はもうなにもしませんしてもいいんだけど生活リズムを護りたい明日こそはembeddingを書きたいあとTensorFlowの機能をいろいろ調べたいメタグラフの読み書きとかあとGPUのメモリ使用率を制限すれば複数のタスクを並行できるのかとかあとプロファイラのこととかもあとMovingAverageの実装がこれで正しいのかとかも気になっているし全部は時間ないと思うけど

0910

昨晩はうまく眠れなかったのでその分早く起きていろいろしましたねむいのでもう寝ます


まずskip-gramによるcharacter embeddingを書きましたこれはでもべつにanalogyとかがやりたいわけではないので特に評価はしていません

それからTensorFlowのトレース機能を試したのだけどまあなんかカラフルじゃのうくらいで特段役に立つことはなさそう

それと一つのGPUで複数の学習プロセスを動かす実験普通にできないのは単にTensorFlowがメモリを食えるだけ食って内部でやりくりするようになっているからなのでそこにリミッタを掛ける設定を追加してやれば普通にできましたただ二つ動かすと速度は半分よりちょっと速い程度まで落ちるので特に効率化にはなりませんまあそれでもCPUでやるより早いから恩恵はある場合もあるだろうけどあと条件の違う二つの学習が同時に走ってくれたほうがうれしいこともある

あとLSTMオートエンコーダのデコーダのところにAttention Modelingを入れてみましたただし見に行くのは過去に自分が生成したところだけです結果はまだわかりません


ねむい明日はビームサーチを書こうかなと思っているあともしかしたらDiscriminatorを書いて本格的にAAEのスキームに載せるかもしれない