問題文
ある企業は、社内文書を根拠に回答する機能で使っている基盤モデルを新しい版へ切り替えた。切り替え後も利用者からの苦情は増えていないが、監査部門から「文書に根拠のない記述が混ざる割合が以前より悪化していないことを示せるか」と問われた。現時点で測定の仕組みは持っていない。最も運用のオーバーヘッドが小さい方法はどれか。
選択肢
- ガードレールの設定を厳しくし、社内文書に根拠の無い記述を含む応答を遮断する設定を追加して、遮断された件数を旧版と新版で比べる。遮断の対象となる話題の一覧は監査部門と合意して定め、四半期ごとに見直して変更の理由を記録に残す
- 質問と根拠となるべき文書と期待される記述をまとめた固定の評価用データセットを 1 組だけ作り、旧版と新版の出力に対して文書に無い記述の割合を同じ手順で測って並べる。以後は版を上げるたびに同じデータセットを流す
- 利用者からの苦情の件数を月ごとに集計し、切り替えの前後で推移を示す
- 旧版へいったん戻し、利用者の反応が変わるかどうかを様子見する