ある会社は、LLM を載せた SageMaker AI のエンドポイントで、長い報告書の下書きを作っている。1 件の生成に数十秒かかる。呼び出しの数は少ないのに、利用が重なる時間帯にレイテンシーが悪化し、自動スケーリングがうまく働いていない。負荷を正しく捉えてスケーリングさせる必要がある。スケーリングに使うメトリクスとして最も適切なものはどれか。
この問題を含む資格の問題は に最終確認しました
ある会社は、LLM を載せた SageMaker AI のエンドポイントで、長い報告書の下書きを作っている。1 件の生成に数十秒かかる。呼び出しの数は少ないのに、利用が重なる時間帯にレイテンシーが悪化し、自動スケーリングがうまく働いていない。負荷を正しく捉えてスケーリングさせる必要がある。スケーリングに使うメトリクスとして最も適切なものはどれか。
この問題を含む資格の問題は に最終確認しました