taka5hi’s blog

機械学習では、時にはメモリに収まりきらないほどの大量のデータを扱う必要があります。 データを準備・加工する処理がボトルネックにならないようにするためには、例えば以下のような工夫が必要になります。 複数のデータをまとめて単一のファイルに保存することでファイルI/Oにかかるオーバーヘッドを減らす データをフ…