Mistral AIから、最新のモデルであるMixtral 8x7Bについての論文が公開されました。タスクに応じて専門家を選ぶ仕組みによって、大きなパラメータでも計算コストを効率よくするのが特徴とのことです。