andante

ひどく眠い。それは当たり前で夜更かししてるからである。やれやれ。

コードレビューが長期間続くと疲れる。

MP-DQNの実装、かなり読めてきた。気のせいかも。明日は実装始められるか？
それより、バックテストの実装が間違っていて、下落場面での成績が思ったよりだいぶ悪いことがわかった。うーむ。
あと分布強化学習も実装したいのよな。リスクの大きさを判断に取り入れたい。これもまた調べないと。

寝ます。なんかおなか痛いな。ガパオライスが辛かったせいかな。

MP-DQNの実装はすこし分かってきた。細かい部分は謎があるけど峠は越えた感触がある。ただ、著者実装なのに変数名が論文と食い違っている気がする。それはQを返してるんだからActorじゃなくない？動けばなんでもいいんだけどさ。
週末くらいには実装できたら嬉しいな。無理かな？

寝ます。

Transformerの学習がゆっくり進んでいるが、今のところそれほど成績が良くはない。εの減衰をもうすこし遅くしたほうがいいかもしれない？バックテストでは一応プラスの成績を残すのだが、もう少し稼いでほしい（欲！）。
MP-DQNの実装を読み始めたが、他にも色々なテクが使われているようなので難儀している。あとPolicy-Gradientが普通にわかってないなという気もする。ふうむ。まあゆっくりやります。

寝ます。

具合はずいぶんよくなったように思う。まだ少しふらつくことがあるし、気分が悪くなる時もあるし、元気もあまりないが、食事はそこそことれるようになってきた。明日はかなり元気になれるのではないか。
それはそれとして、この数日異常に暑いせいか体温調節がバグっている気配がある。こういうのが堪える歳なので、やめてほしい。

Transformerの学習を始めた。薄々知ってはいたがこれはかなり金の掛かるモデルだ。レイヤーが少ないとLSTMほどの成績も出ていない気配がある。まあ、まだわからないが。GPU計算の効率はよいらしく、80%台の使用率で動かせている。別にそれが高かったらどうだということもないのだが、せっかく高いインスタンスを借りてるんだから活用できないと勿体ない。

はあ、この三連休ぜんぜんいいことがなかった。高級焼肉も食べそびれたし。まあ、MRIを撮れたのはいいことにカウントしてもいいかもしれないけれど。しかも来週は普通に五連勤だしな。やれやれ。

朝起きて耳鼻科に行った。1年半前と同じような検査をされて、まあ同じようなことではないかと示唆されるのだけど、ちょっとだけイレギュラーな点があるので念のためMRI撮らせてくださいと言われた。まあ片頭痛関連でもそろそろ撮っておいたら？と言われていたし、じゃあ撮りますということで撮りに行った。指輪をしたままで撮ると指輪が少し振動することに気づいた。発熱とかはしていなかったと思う。

薬を飲んだり寝たりしたら少しだけ気分がよくなってきた。48時間ぶりに固形物を食べた（うどんだけど）。

寝ます。明日はもうちょっと元気になりたい。

朝（昼）に起きたら目まいがしてどうにも動けないので3連休の予定は全部キャンセルで寝ることにした。去年の夏にもこんなことになっていたように思う。明日の朝一で耳鼻科に行く。

眠い。Transformerの実装をしようと思ったけど眠くてできず。あと、観測データの正規化をしようと思ったんだけど雑にやったら利益が計算できなくなってしまった。ちょっと考え直さないとだめだ。

寝ます。明日はなんか焼肉に行く。

GitHub Actions盆栽の第一弾は完了したので一仕事終わった感。時間を掛けすぎたなと後悔している部分もあるけど、まあ見通しはかなりよくなったのではないかと思う。僕の理解度が高まったからそう見えているだけの可能性はなくはないけれども。

勝手にお金を稼ぐ猫は、ネットワークが重たくなったので学習が遅い。2021年は何もしなくても勝手に値上がりしていたのでバックテストとしては不向きということがわかった。2022年はけっこう下げたので今はそっちで試している。これはちゃんと確かめたわけではないのだけど、2021年より2022年のほうが若干成績がよい気がしている。2021年は全体的に高値で推移しているために学習データから外れてしまっているのかもしれない。正規化が必要だなと思った。
アーキテクチャについてもまだいろいろ試行錯誤したい。ChatGPTと議論していて、Transformer試してみる？という話になっている。あと、直近の値動きだけじゃなくもっと長時間スケールの値動きも取り込みたいが、異なる時間スケールに属するデータをいい感じに取り込む方法は難しい。アテンション機構に入力できたらいいんだろうか？位置エンコーディングをいじるのもアリか。

寝よう。これ今月のAWS料金は結構面食らうことになるかもな。

モデルの構造をちょこちょこ調整したり、スナップショットを保存できるようにしたりした。MP-DQNは実装例を見つけたので読み始めた。

なんか調子が悪い。風邪の3歩くらい手前にいる感じ。明日は引いてるかもな。はあ。

月曜日の憂鬱さのことに紙幅を割くのはやめよう。これは紙ではないし、横書きだからどれだけ書いても幅は変わらないのだけれど。

ResNet+LSTMでなんとなく学習をしている。観測データをすこし変えて再学習したり。これが一段落したら、パラメータ化アクションに範囲を拡げて学習させてみよう。本当に上手く行くのかはわからないが。べつにこれを取り入れなくても案外好成績の可能性はある。

寝よう。寝ます。疲れたなあ。