AWS T4インスタンスでプライベートLLMはどこまで通じる？Locust負荷試験で見えた「性能の限界」
はじめに 負荷試験とは 概要 今回使ったツール：Locust オープンソースLLMとは 概要 （補足）Amazon Bedrock との比較 今回使ったモデル：Qwen2.5-7B-Instruct-AWQ 実験 アーキテクチャ 開発環境 (VS Code + Session Manager) 推論エンジンの設定 (vLLM) テストシナリオ ユーザー挙動のシミュレーション (思考時間) 負荷試…
