AWS Inferentia2 (推論用チップ)って、Trainium (学習用チップ)とほぼ同じ
はじめに 先週、AWS Trainiumの実物、ということでブログを書きましたが、推論チップの Inferentia2 が Trainium とほぼ同じような構成でした。 Trainium Inferentia2 上記のサイトからそれぞれの絵を説明のために引用します。違いは、NeuronLink-v2の本数だけっぽいです。 Inference2 低コストで高性能な生成系 AI 推論用…
