問題文
ある企業の RAG アプリケーションでは、回答の品質を上げる目的で取得するチャンクを 8 件から 25 件へ増やした。その結果、長いチャンクが上位に来る一部の質問で入力が上限を超えたというエラーが返るようになり、月間のトークン費用も 2 倍になった。品質は下げたくない。最もコスト効率が高い対処はどれか。
選択肢
- コンテキストウィンドウがより大きいモデルへ切り替え、25 件のチャンクをそのまま入れ続けることで上限を超えるエラーをなくし、取得した情報の量を落とさずに品質を保つ構成にする
- 上限を超えた分は基盤モデルの側で自動的に要約されるため、エラーの表示だけを抑止して運用を続ける
- 文脈に使えるトークンの予算を上限から逆算して決め、取得した 25 件を関連度の順に並べて予算に収まる範囲だけを文脈に入れる。予算に入らなかった関連度の低いチャンクは落とす
- 取得の件数を 8 件へ戻す