Generative Agents Tech Blog

OpenAIのStructured OutputsはStreamingで実行できます。 しかし、Streamingの途中では、LLMの生成したテキストは{"や{"nameなど、JSONとして不正な形式となります。 このような文字列をJSONとして扱えるように修正してパースし続けたい場合の対応方法をまとめます。 ※この記事は、OpenAIのStructured Outputsを使う場合の…