pixiv inside
id:pxvpxv
スキャン費用を最大89%削減!BigQueryの ARRAY 活用で大容量ログ分析を最適化
1. はじめに 2. 背景 データマートは分析のリードタイムを下げる pixivにおけるデータマートでは対応できない具体例 とはいえイベント粒度を直接叩くと、スキャン費用が辛い 3. BigQueryのARRAYによる解決 【Before】イベント1件=1行(親カラムが重複してスキャンされる) 【After】キーごとに1行+ARRAY 4. ARRAY運用の…