temperatureと出力トークン数をどう決めるか(分析用途でのばらつき・回答長・コストを調整する) | 株式会社セールスアナリティクス

temperatureとmax_output_tokensの決め方を、公式ドキュメントの実測値で整理します。推論モデルでは出力の86%が見えない推論トークンのことも。上限を小さくしすぎると1文字も返らない理由まで。