andante

今日はマンガ読んでただけだ。「アドルフに告ぐ」を再読した。こんなご時世だからということでTwitterに貼られていたので。
「火の鳥」とかもそうだけど、こういうのを読むと、手塚治虫は決して伝説の偉人とかではなくて、普通に同時代の巨人なんだなという気分になる。まあ、それだけの普遍性を持っているというだけの話ではあるのだろうが。

寝るよ。明日は照明器具のショールームに行く。

昼から照明器具のショールームに行ったり、打ち合わせをしたりした。照明器具周りも考え始めるときりがない。別に金に糸目をつける必要はないと僕は思っているが、妻は思っていないので対立が生じ、妥協する必要がある。そんなにお金に困っているわけではないつもりなのだが……。

寝ます。明日は強化学習のやつやりたい。

Deep Q Networkがどうにか動き、CartPole-v1で安定したスコアが取れるようになった。いろいろ修正したけど結局は凡ミスで、誤差項を二乗誤差にすべきところをクロスエントロピーにしていたのが原因だった。やれやれ。
これをいろいろ拡張していく必要があるわけだけど、とりあえず一旦リファクタしようかなと思う。いつまでもJupyter notebookだけで作業するのはしんどい。

寝るぞ。

生まれて34年ほど経っているから、月曜日を1700回以上経験しているはずなのだが、いつも眠い。新しい眠さがある。何の話？

仕事はGHA盆栽にようやく終わりが見えてくる。というか盆栽なのでやりたければいつまででもできるのだが、キリのいいところで次に移らないといけない、そういう時期が迫っているというだけ。

DQNの学習をTensorboardに表示するのは案外簡単にできた。VSCodeがTensorboardをサポートしているので快適に表示できて嬉しい。まあ、表示して何がどうなるというものでもないのだが。自己満足自己満足。
明日こそはリファクタというか、主要な部分をnotebookから脱出させたい。

寝るよ。明日は新居で使う予定のダイニングテーブルが届く。どこに置けばいいんだ？

コンビニに行くとおせちの予約が始まっているし、ヨドバシに行くと年賀状ソフトのコーナーができている。年の瀬が着実に近づいている。

昨日まで書いていたnotebookをちゃんとしたモジュールに書き直した。ここから拡張していくに当たってもう少しリファクタしたい部分はある。明日かな。いや、それより学習データを作るのが先かな……。ふうむ。

HHKBの新型が発売された。トラックポイントがついたり、キーマップのカスタマイズができたり、キースイッチも変えられたり？かなり良さそうに見えるが、スイッチがメカニカルになっていた。なぜだ？なぜなんだろう、戸惑う……。

ねむい。

過去の取引データをgymnasiumの環境にして学習を走らせられるようにしつつある。デバッグがけっこうしんどくてまだ動いていないが。

夜更かしが続いており、寝坊も続いている。

ネットワーク構成を微調整して学習を回している。macosでもMPSを使ってGPGPUめいたことができるようだが、いまいち速くはならない。なんでだろう？どこかに変なボトルネックがあるのだろうか。まあそんなことに拘るより素直にAWS借りた方が良いかもしれないが。
今のところたいした成果は得られていない。もう少し観測量として与えるデータを増やした方が良いだろうか。要検討。

寝る。明日あんまり遅くまで寝られないんだった。たいへんだ。

結局AWSでGPUインスタンスを借りている。1USD/hくらいだし使えるものは使っていくのがよい。VSCodeでリモート接続できるのがとてもよい。Tensorboardも見られる。
が、思ったほど速くならないので、何なんだろうな〜と思っている。3倍くらい？GPU使用率は15%くらいにとどまっているので、どこかに変なボトルネックがあるものと思われるが、どこなのか。プロファイラとかでちょっと調べた方がよさそう。
それはそれとして、15時間くらい手元で走らせたバージョンは、1000エピソードの学習の中で資金をだいたい100倍くらいに増やしたことになった。これはでも、学習データの中で単にBTCがそんくらい上がったというだけのような気もする。学習に使っていないデータに食わせてみて長期的にどうなるかは確認が必要だが、モデルを保存してないので何もわからない。やれやれ。

寝ます。明日はリフォーム現場で説明を受けるらしい。

夜更かししてしまいメチャ眠かったがリフォーム工事の説明を聞きに言った。解体が終わって工期に大幅に影響するような問題は見つからなかったということで、安心した（小さな問題はいくつかあり、数日遅れる可能性はあるらしい）。

夕方まで寝て、ほこらんさんと馬肉を食べに行った。二次会と三次会まで行った。胃の調子がいまいちよくないのでお酒は飲まないつもりだったが、だんだん調子がよくなってきたので二次会以降はわりと普通に飲んだ。こういうのがよくないんだろうな。はあ。
胃の調子は謎。半分くらいはメンタルなのかなという気もする（そういう可能性がつねに脳裡にチラついている人生……）。やはり来週どこかで病院に行こうと思った。

勝手にお金を稼ぐ猫は、なんとなく未学習部分のデータで検証したら、一年で2倍くらいには増えることがわかった。わかったが、いろいろな課題があり、改良を要する。そもそも本当にこれが長期保有よりプラスになっているのかはよくわかっていない。でもまあ、希望の持てる話ではある。別のデータを入手したのでそれも検証しようと思う。

寝ます。

今日の方言：「きびる」

昼ごろ起きてぷちぷちとコード書いたり部屋の片づけをしたりした。細やかなチューニングの結果CUDAの学習がMPSの5倍速になった。たぶんまだまだ攻められるだろうと思うのだけど、あまりそこに時間を掛けてもなという感じなのでいったんこのくらいにする。
それはそうと、評価を何回かやると普通に負ける回もある（成行で注文する想定なので実際の売買価格は高値と安値の間の乱数で決めている）ので、これはまだわからんなという感じ。まあモデル自体まだまだ不完全なので、ここから手を入れていく。

寝ます。