マルチクラウド環境でのLLMコスト管理 - LiteLLM Proxy基盤構築

1. はじめに 弁護士ドットコム SRE 室の櫛部勇気と申します。 当社の SRE 室は、全社横断の組織として Enabling SRE(開発チーム支援)と Platform SRE(基盤提供)の両方の役割を担っています。 Platform SRE 業務の一環として、マルチクラウド環境で生成 AI へのアクセス基盤を社内に提供しています。 生成 AI へのアク…