Re:ゼロから始めるML生活

プロンプトキャッシングについて調査してみた記録です。 生成AI系のAPIはたくさんあると思うんですが、そのコスト削減策について調べていました。 少し調べてみるとわかったこととして、2024年ごろからプロンプトのキャッシュを効かせる機能が登場したようで、このキャッシュを上手に使うとコストを下げられるようでした。…