問題文
ある企業は、専門用語の言い換えを覚えさせた独自の調整済みモデルを Amazon SageMaker AI のエンドポイントで運用している。四半期ごとに調整をやり直して更新する計画だが、前回の更新では品質が下がったことに気付くまで 2 日かかり、戻す作業も手作業だった。更新の運用を改善する方法として最も適切なものはどれか。
選択肢
- 四半期ごとの更新をやめ、最初に作った版を使い続ける
- 更新のたびに新しいエンドポイントを作り、問題があれば古いエンドポイントを使い続けるよう関係者に周知する
- 調整済みモデルを Amazon SageMaker Model Registry に登録してバージョンを管理し、承認された版だけをデプロイするパイプラインを AWS CodePipeline で組む。デプロイ後の品質チェックが基準を下回ったら直前の版へ戻す手順を自動化する
- Amazon SageMaker Model Monitor でエンドポイントの呼び出し回数と応答時間を監視し、呼び出し回数が減ったり応答時間が伸びたりしたときに品質の低下が起きたと判断して調査を始める。判断のしきい値は前回の更新前の水準を基準に決め、超えたときは担当者へ通知する