54億回の比較とFirebase API地獄 — CSVユーザーインポートをCPUとI/Oの両面から爆速にした話

はじめに サーバーエンジニアの 水戸(@penguin4glte) です。 ヤプリには、CSV ファイルをアップロードするとアプリのユーザーを一括で登録・削除できる「ユーザー一括インポート」機能があります。今回は、この機能が大規模なデータで遅くなっていた問題を、CPU(計算量) と I/O(外部 API 呼び出し) という 2 つの異な…