問題文
ある企業は、契約書の要点を抽出する機能に使う基盤モデルを選定している。候補は 3 つあり、いずれも公開されている一般的なベンチマークで高い評価を得ている。選定の進め方として最も適切なものはどれか。
選択肢
- ベンチマークの総合点が最も高いモデルを選ぶ
- 自社の契約書から作った評価用のデータセットと採点の基準を用意し、Amazon Bedrock のモデル評価で 3 つの候補を同じ条件で比較する
- 3 つの候補すべてを本番で並行稼働させ、要求を一定の割合で振り分けて、利用者からの苦情の数と再質問の回数を比べて判断する。振り分けの割合は評価が固まるまで維持する
- パラメータ数が最も大きいモデルを選ぶ