BERTology — Probingタスクで事前学習モデルの内部知識を探る
BERT のようなTransformerベースの事前学習モデルは、大量のテキスト...
Superposition（重ね合わせ）と特徴の多義性 — ニューラルネットは次元より多くの特徴をどう詰め込むか
画像認識モデルの中間層を調べていて、「犬の耳」にだけ強く反応するニューロンを見つ...
Attentionの解釈性と限界 — 注意重みはモデルの説明になるか？
ある感情分析モデルが「この映画は退屈だったが、最後のどんでん返しは見事だった」と...
Attention重みの可視化と解釈 — Transformerの内部を覗く方法
Transformerベースのモデルは、機械翻訳、文書分類、質問応答など多くのタ...