分散推論基盤の基礎技術 〜高火力 PHYで作る分散推論基盤 vol.2〜 | さくらのナレッジ

目次はじめに前回のおさらい: LLMの推論処理とPD-DisaggregationGPU間データ通信とScale Up / Out NetworkGPUDirect RDMAKV Cacheの転送に関わるソフトウェアNI […]