0425
バッチジョブの実装の整理などをしていたら一日終わった。しかしなかなか実りある日だったと思う。来週の間に残りを完成させたい。
LLM的な知性が、「これは何か」ではなく「これは何かと訊かれたら何と答えるべきか」を改善する方向で進歩したというのは興味深いことだなと思った。昔考えられていたAIって、現実世界に関する知識やそれらの関連のリストを覚えて論理的推論によってその物についての質問に答えるようなイメージだったと思うんだけど、LLMはとにかく「何と答えるべきか」を学習して、もしかするとその結果として世界に関するなんらかのモデルを持っている。
昔、人間はなぜ辞書を読んだり「知識として」覚えた言葉を使えるようになるのだろうと疑問だった。LLMに、架空の単語の辞書的な説明を与えると、即座にすらすら使いこなす。おそらくこの時点では、何らかの推論的な働きによって新語が使用されていて、そしてそのこと自体によって、今後さらなる学習が行われる時のデータとして、今度はより「自然に」使うようになるのだろう。人間が辞書を読んで言葉を覚えるのも、それと似たようなことなのかもしれない。
理解するとは、頭の中の秘密のノートに知識を書きとめることではなく、身体に染み付くまで素振りをすることに近い、と以前考えたが、これもそういうことなのだろう。そんなノートに書き込むための秘密の命令（メタ言語）などどこにもなく、ただ身体がやり方を覚えていくだけ。
寝ます。