Multi-Head Self-Attentionを用いたSNLIタスク
勤め先のグループで、ここ一年間SNLI(Stanford Natural Language Inference)というタスクに取り組もうということになっていた。どういう手法でタスクに取り組もうかと調べていたときに、最近発表されたBERTモデルがその元となったTransformerというモデルのMulti-Head Self-Attentionを利用していると知り、Multi-Head Sel…
