3つの要点✔️BERTのAttention機構の分析手法の提案✔️Attentin機構は全体的には区切り文字や[CLS]、[SEP]を見ている✔️特定のAttention機構では「動詞とその目的語」、「名詞と修飾語」、「前置詞とその目的語」などの簡単な文法関係から、照応関係などの複雑な文法関係も獲得している前書き現在の自然言語処理ではTransforme…