Amazon Bedrock のバッチ推論を試してみた - Qiita
背景・目的 自分が関わる業務のユースケースから、Bedrockのバッチ推論のほうが適していると感じたため 簡単に特徴を整理し、試します。 まとめ 下記に特徴を整理します。 特徴 説明 バッチ推論 複数のプロントを送信し、非同期で応答を生成できるバッチ推論を...