GNNの過平滑化(over-smoothing)を理解して対策を実装する
畳み込みニューラルネットワーク(CNN)では、層を深くするほど性能が上がるのが常...
純粋Attention層のrank collapse — attentionだけを重ねると表現が二重指数で壊れる
伝言ゲームを想像してください。ただし普通の伝言ゲームと違い、各人は「全員の意見の...
残差接続（スキップ接続）はなぜ効くのか — 図で直感的に理解する4つの視点
深層学習のアーキテクチャ図を見ると、ブロックをぐるっと飛び越えて先の地点に合流す...
残差接続とTransformerの学習安定性 — スキップ接続が深層モデルを支える仕組み
なぜ100層のTransformerは学習できるのでしょうか？ ニューラルネット...