LangChainでストリーミングを有効にしつつ、会話やRAGのトークン消費数を計測する方法|株式会社エクスプラザ(公式)

はじめに こんにちは、@_mkazutakaと申します。今日は、LangChainでストリーミングを有効にしつつ、会話やRAGのトークン消費数を計測する方法について紹介します。 LangChainを使用するときのトークン消費量は、以下のドキュメントに記載されているように `get_openai_callback` 関数を利用すれば簡単に取得できます。し…