オムライスの備忘録

Index Index BigBird 参考 BigBird これまでの最大 8 倍の 1 セグメント当たり 4096 項目のシーケンス長を処理できる. 参考 Big Bird: Transformers for Longer Sequences [2020] arxiv.org