GroqのLLM Inferenceが超絶速い件に対する感想
はじめに Xの投稿にて、GroqのLLM Inferenceが超絶速いというのが流れてきます。 groq.com にアクセスすると、 Mixtral 8x7B-32K LIama 2 70B-4k が動きます。デフォルトは、Mixtral 8x7B-32K のようです。 とりあえず、質問してみました。 GroqのTSPがLLM推論で速い理由を2000文字程度で説明してください。 458.03 T/s 回…
