andante

ねむい。

過去の取引データをgymnasiumの環境にして学習を走らせられるようにしつつある。デバッグがけっこうしんどくてまだ動いていないが。

コンビニに行くとおせちの予約が始まっているし、ヨドバシに行くと年賀状ソフトのコーナーができている。年の瀬が着実に近づいている。

昨日まで書いていたnotebookをちゃんとしたモジュールに書き直した。ここから拡張していくに当たってもう少しリファクタしたい部分はある。明日かな。いや、それより学習データを作るのが先かな……。ふうむ。

HHKBの新型が発売された。トラックポイントがついたり、キーマップのカスタマイズができたり、キースイッチも変えられたり？かなり良さそうに見えるが、スイッチがメカニカルになっていた。なぜだ？なぜなんだろう、戸惑う……。

生まれて34年ほど経っているから、月曜日を1700回以上経験しているはずなのだが、いつも眠い。新しい眠さがある。何の話？

仕事はGHA盆栽にようやく終わりが見えてくる。というか盆栽なのでやりたければいつまででもできるのだが、キリのいいところで次に移らないといけない、そういう時期が迫っているというだけ。

DQNの学習をTensorboardに表示するのは案外簡単にできた。VSCodeがTensorboardをサポートしているので快適に表示できて嬉しい。まあ、表示して何がどうなるというものでもないのだが。自己満足自己満足。
明日こそはリファクタというか、主要な部分をnotebookから脱出させたい。

寝るよ。明日は新居で使う予定のダイニングテーブルが届く。どこに置けばいいんだ？

Deep Q Networkがどうにか動き、CartPole-v1で安定したスコアが取れるようになった。いろいろ修正したけど結局は凡ミスで、誤差項を二乗誤差にすべきところをクロスエントロピーにしていたのが原因だった。やれやれ。
これをいろいろ拡張していく必要があるわけだけど、とりあえず一旦リファクタしようかなと思う。いつまでもJupyter notebookだけで作業するのはしんどい。

寝るぞ。

昼から照明器具のショールームに行ったり、打ち合わせをしたりした。照明器具周りも考え始めるときりがない。別に金に糸目をつける必要はないと僕は思っているが、妻は思っていないので対立が生じ、妥協する必要がある。そんなにお金に困っているわけではないつもりなのだが……。

寝ます。明日は強化学習のやつやりたい。

今日はマンガ読んでただけだ。「アドルフに告ぐ」を再読した。こんなご時世だからということでTwitterに貼られていたので。
「火の鳥」とかもそうだけど、こういうのを読むと、手塚治虫は決して伝説の偉人とかではなくて、普通に同時代の巨人なんだなという気分になる。まあ、それだけの普遍性を持っているというだけの話ではあるのだろうが。

寝るよ。明日は照明器具のショールームに行く。

やめようやめようと思いながら夜更かしをする日々。

強化学習というかDQN、ようやく簡単なものは動きつつある。あるが、今のところ異常にガチャ性が高い。学習が進む前にちょっとでも良い学習を得られないとすぐ諦めて何も分からなくなってしまうらしい。もうちょっといろいろ試しながら理解を深めていきたい。こういうものなのかもしれない（それでは困るのだが）。

寝るぞ。

あいかわらず眠い。HHKBの新モデルにトラックポイントがつくという噂を聞いた。10年前に出してほしかったという気持ちはある。

仕事はGHA workflowの盆栽をやっている。まだテストは微妙に通らないのだが、とりあえず第一段階は目処が立った気がする。あとはDocker Imageをどうするかだよね。まあ明日もがんばる。

夜はPythonを書いた。本を見ながらCartPole-v1を書いてみたものの、今のところ何も学習していないように見える。Tensorboardに繋ぐ方法を調べて様子を見たい。道は遠い。

寝ます。

ねむねむい。夜更かしが多い。
価値関数やQの関数近似の理論的評価にはあまり興味がない。どうせそんなの無視してﾃﾞｨｰｰﾌﾟﾗｰｰﾆﾝｸﾞ先輩に丸投げするしかないのだ。発散してから考えよう。
パラメトライズド行動空間での強化学習というのがあるらしい。DQNだと離散的な行動しか選べないし、方策ベースなら連続パラメータで行動を選ぶこともできるのだが、その組み合わせをいい感じにするとか。これは目的にマッチしていそうだ。実装できるかはわからないが……。
そろそろサンプルコードの写経にも入りたい。写経っていうけど本はTensorFlowで書いてるところを僕はPyTorchで書くので移植だが。

寝ます。

ねむい。強化学習の本を読んでいる。ワンピース読むよりこっちの方が性に合ってるんだよな、やっぱり。いやワンピースも面白いけども。
Q学習ってよくできてんな〜と思った。そろそろ手を動かしていきたいところ。

寝ますよ。