純粋Attention層のrank collapse — attentionだけを重ねると表現が二重指数で壊れる 2026年7月2日 Transformer 伝言ゲームを想像してください。ただし普通の伝言ゲームと違い、各人は「全員の意見の... Attentionrank collapseTransformer残差接続深層学習線形代数