Azure OpenAI Serviceでリアルタイムな会話を実現するためのアーキテクチャ

課題 ここ最近言語生成AIが盛り上がっており、様々なアプリケーションの登場が期待されます。しかし、Azure OpenAI Serviceをはじめとしたサービスはインターネット上で処理が実行され、特に長文を生成する場合にはレスポンスが返ってくるまでに何秒かかかることも多く、リアルタイムコミュニケーションが難しいように感じ…