問題文
ある企業のエージェントは、問い合わせに対して「情報の収集」「候補の絞り込み」「結論の作成」の順に推論を進める。運用してみると、途中の段階で形式の崩れた中間結果が出たまま次の段階へ進み、最終の結論が意味をなさないことがある。最も適切な実装はどれか。
選択肢
- 最終の結論の形式だけを検証し、崩れていたら最初の段階からやり直す
- 推論と行動の各段階を AWS Step Functions の状態として表し、段階の出力を定めたスキーマで検証してから次の状態へ進める。検証に通らなければ同じ段階を再実行し、再実行の回数の上限に達したら処理を打ち切る
- 3 つの段階を 1 つのプロンプトにまとめ、各段階の結果を見出しを付けて順に書かせたうえで最後に結論を出力させ、出力の全体を受け取ってから形式を検証する。検証に通らなければ全体をもう一度生成させる、記録も残しておく、順に確認する
- 推論パラメータの温度を下げて、中間結果の形式が崩れないようにする