nikkie-ftnextの日記

はじめに ピーーーーーーー。1nikkieです。 transformersを使ったLLMのファインチューニング（SFT）のコードを最近眺めているのですが、data collatorという概念がよく分かっていません。 1日1エントリを使って調べてみます。 目次 はじめに 目次 transformersのTrainerに渡すdata_collator 資料をあたっていく Hugging Fa…