andante

会社のタウンミーティングで盛り上がっていた。3次会でカラオケに行ったが、カラオケはわからんので手拍子だけしていた。
人生のどこでカラオケで歌える歌を身につければよかったのかわからない。たぶん中高生の頃に流行りの歌に親しんでいれば自然とそうなったのだろう。べつにそうでもないのかもしれないが。

くたびれた。寝る。

あれをやったりこれをやったり。デプロイが急にコケるようになったので原因を調べて直したり。こういうトラブルを解決できるとなんとなく自分がまだそれなりに存在価値を失っていないという実感が得られる。たまにトラブルを起こしてマッチポンプをするといいのかもしれない（そんなことはない）。

プロンプトエンジニアリングは微妙な進み。枠組みはかなりできたのだが、チューニングが難しい。知らないことは適当答えないで、でも知ってることはいちいち検索しないで、挨拶の意味を検索しないで、フォーマットに従って、などなど。三歩進んで二歩下がるような進捗。

寝ます。明日は会社のタウンミーティング。

眠剤を飲まないとやはり中途覚醒が多くなる。やれやれ。

仕事はコマンド実行と会議と検討。新機能のためのシーケンス図を描いてみているけど、なかなか難しい。そして思うが、やはりこれは小説を書くときと同じ悩みだ。最近書けてないが。

プロンプトエンジニアリングはまあまあ進展した。進展というほどのこともないが。gpt-3.5-turboに食わせるプロンプトと、毎回の思考過程を要約して記憶に含める仕組みができた。ただ応答の精度はまだあまり高くない。形式さえ守ってくれればとは思うのだが……。調整が必要だ。場合によっては修復手法を考えねば。
エラーハンドリングも実用するにはいるはずで、それも考えねばなるまい。

寝る。

最近ずっと鼻炎の調子が悪かったのだけど（前提）、いよいよひどくなってきたので朝起きて耳鼻科に行った。薬がなんかたくさん出た。飲むのが大変だ。

プロンプトエンジニアリングはようやく形が見えてきた感じ。応答の部分はなんとかなりそうなので（課題もあるが）、次は記憶に手をつけている。思考過程を全部履歴にするとトークン長がえらいことになるので、それぞれLLMで要約させるつもり。Playgroundで試す分にはいい感じに動いているが、はたして。

寝ます。

ねむ。会議ばっかりで全然何もできなかった。やれやれ。

マジで何もしてない。夕飯にもつ鍋食べたらおいしかった。寝ます。

「どうしてあんなこと言ってしまったんだろう」という後悔は、誰しもあるものだと思うけど、10年経ってもまだ忘れられない後悔がいくつもある。たぶん、これから残りの人生で忘れられる日は来ないのだろう。痛みと共に生きる人生、それはまあ、比喩的にも、文字通りの意味でも、それが大人になるということなのだろうと思う。
なにかを後悔するのは、それが何かの糧になるからだ（と、進化心理学なら言うかもしれない）。次はもっと上手くやれる、そのようにして適応度を高めていくのだ。本当に？僕はずっとただ後悔するだけで、そこからなにかを得ることはないのかもしれない。少なくとも、痛みの記憶が薄れるまではだめだろう。痛みの記憶が風化して、自分を形作る地盤の一部になったとき、その時やっと上手くやれるようになっているかもしれない。

午前中は不動産会社の事務所で話を聞いていた。早く決断すべきなのか、待つべきなのか、難しい。しかし進むべきなのかもしれない。あとは納得感の話という予感はある。

午後はほこらんさんと遊んだ。「不快のデザイン展」に行くつもりだったのだがすごく並んでいたので断念した。やれやれ、どうせあんなもの見ても不快になるだけなんだ（酸っぱい葡萄）。
夕食にお好み焼きを焼いた。人んちのお好み焼きの作法ってなかなか知る機会が無くて面白いなと思った。

夜はプロンプトエンジニアリングをした。少しずつ前進している……？道は遠いが。

寝ます。

のんびりしていた。あいかわらずプロンプトエンジニアリングをしていた。その部分で試行錯誤するのにはPlaygroundを使うのが便利でよい。自動化の部分は結局notebookでやらないといけないが。
結局、話す担当と考える担当とを分けるアプローチは断念した。今は思考過程を会話ログに含める部分を考えている。Memoryの独自実装がいるかもしれない。あと、text-davinciのかわりにgpt-3.5-turboを使いたいので、そこも調整をする。
いろいろ試してわかってきたが、なんでもかんでも検索とかさせずに適当に回答させる方がいい答えが出てくることが多い。ここらへん、どうやってバランスをとるべきか……。これ以上プロンプトを長くしたくはないし、悩ましいなと思う。

寝ます。

とにかく寝不足であった。

ChatGPTでなんかやるやつは昨日のアイデアに取り組んだけど、今のところ成功はしていない。動きはするが、アシスタントに適切な指示を出させるのが難しい。ここにもプロンプトエンジニアリングがいるのだろう。でもなんか、そういうのをやらなくてもいいようにするのがこの二段構えだったわけで、それなら本末転倒だなという気もする。難しい。

寝る。

またこんな時間か！

プロンプトエンジニアリングは少し成果が出た。質問に答える時にいきなり検索しようとせずにどういう順序でツールを使うべきかを別のモジュールに回答させてからその通りに回答させる。これができるなら原理的にはこれなしでもそうできると思われるが、それをやるとまたプロンプトが長くなると思われるのでやらない。
GPT-3.5の利用はトークン長限界との闘いだという感じ。ところで今思ったんだけど、チャット担当と調べごと担当は別々にしたほうがよかったりする？そうすると人格に関するプロンプトはチャット担当のほうにだけ書けばよくなるから、調べごと担当が使えるトークン長が増えるな。総トークン数は増えるだろうが。これも試すに値するアイデアだ。

寝ます。

寝不足が続いている。面白いことが多すぎるのだ。早起きしてやれば？というのは朝型人間によるプロパガンダに過ぎない。

仕事はシステム移行に着手。順調に移行コマンドが動いておるわいと思っていたら裏ですごい副作用があってウワーッとなった。これは……これはわからんて……。とりあえず修正して明日再開する。

LangChainはプロンプトエンジニアリングをゴニョゴニョしている。一応それらしく対話できるようになった気がするが、あまり賢いとは言えない。複数のアクションを組み合わせて回答する必要がある場合、最初にどのように回答するのか戦略を立ててほしいのだが、なかなかそのようには動いてくれない。いや、Final Answerとは別にInternal Thoughtを一旦回答させればいいのか？
プロンプトエンジニアリングをやっていると、ニューラルネットが流行っていた時にいろいろ構造やハイパラをいじっていたのを思い出す。人間の視覚野を模倣してみたりね。そのうち自動でチューンできるようになるのかもしれないし、あんまり人間っぽくない言い回しが多用されるようになるのかもしれない。

寝ます。明日は少し寝坊していこう……。