soraneが一応は動くところまできてSafariで文字が歯抜けになってしまう問題は引き続き追っかけるにしても、そろそろ次に何か手を付けようと悩み中。もともとLLMをソフトウェア開発に適用することの実用性評価から始まったのだから、手でプロンプトを仕込むだけでなくワークフロー全体を自動化すべく、ChatDev的なものを触ってみながら、コーディングだけでなくCI/CDやらテストの自動化を試すべきなのだろうか。
住民サービスの案内にLLMを使うことの有用性は前から気になっていて、特にLLMが得意な多言語での住民サービス案内を自動化することは割と実現できるんじゃないかという気がする。一方でLLMは計算とか集合論を厳格にやるのが苦手だから、住民の属性情報を渡して給付対象か否かを素で判断させるのはクレームの原因になりそうで怖い。 最近ちょっと法令工学が気になっていて、制度ベースレジストリの給付系の案内をZ3pyで書き直して、SMTソルバーで該当性を判断した上で、LLMがよしなに回答するかたちにすれば、かなり厳格な回答ができるんじゃないかという期待もある。LLMいらんじゃんという気もするし、スマホに組み込むならZ3pyよりもZ3 JavaScriptの方が楽そうな気もする。 片山先生の論文をみていると、条文をZ3pyに落とし込むモデリングにはそれなりにコーディング能力が必要で、ここをLLMで自動化できると、一気に形式的手法のハードルが下がるんじゃないかという期待があるけれども、そんなに簡単ではないと仰っていた。SMTソルバーに限らず、LLMの確率的ないい加減さを補完するために形式的手法を使えないか、制度の対象であったり該当性判断を機械可読形式で提供できないか、それらとヒューマンインターフェースとしてのLLMを組み合わせられないか、みたいなことを悶々と考えつつMinimum Valuable Productを何か組み立てられないかと模索中。