オムライスの備忘録

Transformer yhayato1320.hatenablog.com Index Index ToMe 参考 ToMe 参考 Transformerで処理中にトークン集合を二つにわけ（A, B)、 A中の各トークンで最も似ているB中のトークンを求め、 最も似ている上位ペアr%をマージし、 トークンを減らして処理をする. key表現の近さで似ているかを判定する. Token Merging: Your …