生まれて34年ほど経っているから、月曜日を1700回以上経験しているはずなのだが、いつも眠い。新しい眠さがある。何の話？
仕事はGHA盆栽にようやく終わりが見えてくる。というか盆栽なのでやりたければいつまででもできるのだが、キリのいいところで次に移らないといけない、そういう時期が迫っているというだけ。
DQNの学習をTensorboardに表示するのは案外簡単にできた。VSCodeがTensorboardをサポートしているので快適に表示できて嬉しい。まあ、表示して何がどうなるというものでもないのだが。自己満足自己満足。
明日こそはリファクタというか、主要な部分をnotebookから脱出させたい。
寝るよ。明日は新居で使う予定のダイニングテーブルが届く。どこに置けばいいんだ？
Deep Q Networkがどうにか動き、CartPole-v1で安定したスコアが取れるようになった。いろいろ修正したけど結局は凡ミスで、誤差項を二乗誤差にすべきところをクロスエントロピーにしていたのが原因だった。やれやれ。
これをいろいろ拡張していく必要があるわけだけど、とりあえず一旦リファクタしようかなと思う。いつまでもJupyter notebookだけで作業するのはしんどい。
寝るぞ。
昼から照明器具のショールームに行ったり、打ち合わせをしたりした。照明器具周りも考え始めるときりがない。別に金に糸目をつける必要はないと僕は思っているが、妻は思っていないので対立が生じ、妥協する必要がある。そんなにお金に困っているわけではないつもりなのだが……。
寝ます。明日は強化学習のやつやりたい。
今日はマンガ読んでただけだ。「アドルフに告ぐ」を再読した。こんなご時世だからということでTwitterに貼られていたので。
「火の鳥」とかもそうだけど、こういうのを読むと、手塚治虫は決して伝説の偉人とかではなくて、普通に同時代の巨人なんだなという気分になる。まあ、それだけの普遍性を持っているというだけの話ではあるのだろうが。
寝るよ。明日は照明器具のショールームに行く。
やめようやめようと思いながら夜更かしをする日々。
強化学習というかDQN、ようやく簡単なものは動きつつある。あるが、今のところ異常にガチャ性が高い。学習が進む前にちょっとでも良い学習を得られないとすぐ諦めて何も分からなくなってしまうらしい。もうちょっといろいろ試しながら理解を深めていきたい。こういうものなのかもしれない（それでは困るのだが）。
寝るぞ。
あいかわらず眠い。HHKBの新モデルにトラックポイントがつくという噂を聞いた。10年前に出してほしかったという気持ちはある。
仕事はGHA workflowの盆栽をやっている。まだテストは微妙に通らないのだが、とりあえず第一段階は目処が立った気がする。あとはDocker Imageをどうするかだよね。まあ明日もがんばる。
夜はPythonを書いた。本を見ながらCartPole-v1を書いてみたものの、今のところ何も学習していないように見える。Tensorboardに繋ぐ方法を調べて様子を見たい。道は遠い。
寝ます。
ねむねむい。夜更かしが多い。
価値関数やQの関数近似の理論的評価にはあまり興味がない。どうせそんなの無視してﾃﾞｨｰｰﾌﾟﾗｰｰﾆﾝｸﾞ先輩に丸投げするしかないのだ。発散してから考えよう。
パラメトライズド行動空間での強化学習というのがあるらしい。DQNだと離散的な行動しか選べないし、方策ベースなら連続パラメータで行動を選ぶこともできるのだが、その組み合わせをいい感じにするとか。これは目的にマッチしていそうだ。実装できるかはわからないが……。
そろそろサンプルコードの写経にも入りたい。写経っていうけど本はTensorFlowで書いてるところを僕はPyTorchで書くので移植だが。
寝ます。
ねむい。強化学習の本を読んでいる。ワンピース読むよりこっちの方が性に合ってるんだよな、やっぱり。いやワンピースも面白いけども。
Q学習ってよくできてんな〜と思った。そろそろ手を動かしていきたいところ。
寝ますよ。
リフォームの打ち合わせに行ったり、カラオケに行ったりした。壁紙の色はいくら考えてもしっくりこないが、たぶんどうやっても一度は後悔するのだろうと思うと、あまりこだわっても仕方がないのかもしれない。本当か？
あと電源系統の話もした。帰ってからよくよく考えるといろいろ不都合あるなと思い、あわててメールをしたりした。手間を掛けさせて申し訳ないが、こういう部分はいま決めておかないと禍根を残すので悩むのを許してほしい。
強化学習の本を読んでいる。理論の本とPythonで実装する本を交互に見ていると理論にもなんとなくイメージを持ちつつ読み進められるのでよいのかなと思った。そうでもないかも。
しかし、そろそろデータセットを作ることを考え始めないといけないのではないかと思う。ふうむ。
寝ます。
PyTorchのチュートリアルを少し動かしたり、強化学習の本を買ったのが届いたので読んだりした。Fashion MNISTを全結合だけで解いても90%くらいは行くもんなんだと少し驚いた。あと最適化はいまだにAdam現役なんだ。
本のほうはゆっくり読んでいきます。4冊も買う必要なかったかもしれないな。まあいいや。
寝ます。明日はまたリフォームの打ち合わせ。