「Google Colab」で「DeepSpeed」によるLLMの (LoRAではなく) フルパラメータの指示チューニング (Instruction Tuning) を試したので、まとめました。 【注意】 Google Colab Pro/Pro+のA100で動作確認しています。 前回 1. DeepSpeed 「DeepSpeed」は、深層学習モデルの学習や推論の処理を高速かつメモリ消費を抑…