andante

やめようやめようと思いながら夜更かしをする日々。

強化学習というかDQN、ようやく簡単なものは動きつつある。あるが、今のところ異常にガチャ性が高い。学習が進む前にちょっとでも良い学習を得られないとすぐ諦めて何も分からなくなってしまうらしい。もうちょっといろいろ試しながら理解を深めていきたい。こういうものなのかもしれない（それでは困るのだが）。

寝るぞ。

あいかわらず眠い。HHKBの新モデルにトラックポイントがつくという噂を聞いた。10年前に出してほしかったという気持ちはある。

仕事はGHA workflowの盆栽をやっている。まだテストは微妙に通らないのだが、とりあえず第一段階は目処が立った気がする。あとはDocker Imageをどうするかだよね。まあ明日もがんばる。

夜はPythonを書いた。本を見ながらCartPole-v1を書いてみたものの、今のところ何も学習していないように見える。Tensorboardに繋ぐ方法を調べて様子を見たい。道は遠い。

寝ます。

ねむねむい。夜更かしが多い。
価値関数やQの関数近似の理論的評価にはあまり興味がない。どうせそんなの無視してﾃﾞｨｰｰﾌﾟﾗｰｰﾆﾝｸﾞ先輩に丸投げするしかないのだ。発散してから考えよう。
パラメトライズド行動空間での強化学習というのがあるらしい。DQNだと離散的な行動しか選べないし、方策ベースなら連続パラメータで行動を選ぶこともできるのだが、その組み合わせをいい感じにするとか。これは目的にマッチしていそうだ。実装できるかはわからないが……。
そろそろサンプルコードの写経にも入りたい。写経っていうけど本はTensorFlowで書いてるところを僕はPyTorchで書くので移植だが。

寝ます。

ねむい。強化学習の本を読んでいる。ワンピース読むよりこっちの方が性に合ってるんだよな、やっぱり。いやワンピースも面白いけども。
Q学習ってよくできてんな〜と思った。そろそろ手を動かしていきたいところ。

寝ますよ。

リフォームの打ち合わせに行ったり、カラオケに行ったりした。壁紙の色はいくら考えてもしっくりこないが、たぶんどうやっても一度は後悔するのだろうと思うと、あまりこだわっても仕方がないのかもしれない。本当か？

あと電源系統の話もした。帰ってからよくよく考えるといろいろ不都合あるなと思い、あわててメールをしたりした。手間を掛けさせて申し訳ないが、こういう部分はいま決めておかないと禍根を残すので悩むのを許してほしい。

強化学習の本を読んでいる。理論の本とPythonで実装する本を交互に見ていると理論にもなんとなくイメージを持ちつつ読み進められるのでよいのかなと思った。そうでもないかも。
しかし、そろそろデータセットを作ることを考え始めないといけないのではないかと思う。ふうむ。

寝ます。

PyTorchのチュートリアルを少し動かしたり、強化学習の本を買ったのが届いたので読んだりした。Fashion MNISTを全結合だけで解いても90%くらいは行くもんなんだと少し驚いた。あと最適化はいまだにAdam現役なんだ。

本のほうはゆっくり読んでいきます。4冊も買う必要なかったかもしれないな。まあいいや。

寝ます。明日はまたリフォームの打ち合わせ。

ねむい。寒いので妻の羽毛布団を拝借した。

入社して2年、目をそらし続けていたGitHub Actionsと向き合うことにした。量が多くて取っつきづらい。これはそもそもGitHub Actions自体があまり複雑性に対処できるようになっていない雰囲気があるな？

深層強化学習について調べようと思ったが疲れたので明日。

天候のこと最近あんま考えてないな。寒くなってきて、寝る時タオルケットでは厳しい季節になった。

GPyをぽちぽちするやつは、なんとなく異常検知みたいなことはできるようになったのだけど、異常検知ができたらどうだというのみたいなのはまだ不透明。何だろね。こういうのは強化学習の領域なのかもしれないが。そっちのほうが有望か？

寝ます。

朝起きて消化器内科のクリニックへ行った。16人待ちで、2時間ほど待った。
胃というのは普段は鈍感なのだが一度閾値を超えて何か起きるとしばらく敏感な状態が続くのだという。なのでこれもたいしたことは起きていないが先週に一度胃腸の風邪か何かになった後で敏感に感じてしまっているのではないかということだった。ふーん。とりあえず二週間分の制酸剤をもらった。これで落ち着ければ大丈夫らしい。まあ、とりあえず様子を見ましょう。

午後は仕事をした。APIエンドポイントを列挙してみた。既に動いているものの都合をどの程度尊重しなければならないのか、加減が難しい。でも実質的にはリプレースなんだから、結構大なたを振るってよいのかもしれない。開発がシンプルになる限りは。

夜はGPyをぽちぽちしていた。とりあえずチャートをガッと食わせてガウス過程回帰をしてみたが、カーネルの選択が雑なのか何にも参考にならない。いや、これはノイズ項のハイパラチューニングをするのが良いのだろうな。明日やってみよう。

寝ます。

なんか胃の調子が悪く、飲み会はリスケしてもらった。はあ……予定なかなか合わなくて11月なっちゃいそうだけど。なんか久々に体調不良が生活に影を落としているな……。
先週のこともあるし、心配なので明日病院行きます。行ってどうなるというものでもないけれど……。

仕事もテンション上がらない。まあそれは最近わりとそうなのだが。自分のすべきことを見失っている気がするんだよな。状況が不安定で、規模の大きすぎる計画を考えても意味がない。いや、それは言い訳か？

寝ます。なんか何もしない夜更かしをしてしまった……。明日は早く起きたいのに。