BLIP-2のようなマルチモーダルモデルは、画像エンコーダと言語モデルという別々の部品を「接続部」で繋ぐ設計でした。これは効率的ですが、画像と言語が深いところまで混ざり合うわけではありません。画像は画像、言葉は言葉として処理され、最後に橋渡しされるだけです。
Metaが2024年に発表した Chameleon は、もっと過激な発想を取ります。「画像もテキストも、最初から同じ『離散トークン』にしてしまえばよい」。テキストをサブワードに分けるのと同じ要領で、画像も離散コードに変換し、両者を1つの語彙表に統合します。すると画像も文章も区別なく「ただのトークン列」になり、たった1つのTransformerで次トークン予測するだけで、文章生成も画像生成も、両者が混ざった文書の生成もできるようになります。これが 早期融合（early fusion） のマルチモーダルモデルです。
ただし、性質の違うモダリティを1つのモデルに詰め込むと、大規模学習で損失が発散しやすくなるという深刻な問題が起きます。Chameleonの論文の貢献は、このアーキテクチャの提案だけでなく、学習を安定させる一連の工夫にもあります。この記事では、論文の図（CC BY 4.0）を引用しながら、早期融合の仕組みと安定化の工夫を、読めば全部わかる形で解説します。
なぜChameleonを学ぶのか
Chameleonを理解する価値は、次の場面で効いてきます。
- マルチモーダルの2大設計を比較できる：「接続部で繋ぐ（late fusion）」と「最初から統合する（early fusion）」という対極の設計を理解でき、GPT-4oなどネイティブマルチモーダルの流れが見えます。
- 離散トークン化の威力がわかる：画像を離散トークンにすると、言語モデルの強力な機構（次トークン予測・自己回帰生成）をそのまま画像に使えます。
- 大規模学習の安定化技法を学べる：QK-Normやz-lossといった、巨大モデルを発散させずに学習する実践的なテクニックは、他のモデル開発にも応用できます。
この記事を読む前に、以下を押さえておくとスムーズです。
早期融合 vs 後期融合
まず、Chameleonの立ち位置を従来手法と対比します。
後期融合（late fusion） は、画像エンコーダとテキストエンコーダを別々に持ち、それぞれが処理した結果を後段で結合します。BLIP-2もこの系統です。各モダリティの経路が独立しているため、画像と言語の相互作用は浅くなりがちです。
早期融合（early fusion, Chameleon） は、入口で全モダリティを同じ離散トークンに変換し、最初から1つの系列・1つのTransformerで処理します。モダリティの境界がないので、画像と言語が全層で深く混ざり合います。論文の代表図を見ましょう。
出典: Chameleon Team (Meta FAIR), “Chameleon: Mixed-Modal Early-Fusion Foundation Models” (2024), Fig.1 (CC BY 4.0)
この「全部を同じトークンにする」ところが核心です。次に、その変換方法を見ます。
全モダリティを離散トークンに統一する
Chameleonは、画像とテキストをそれぞれ離散トークンに変換し、1つの語彙表に統合します。
- テキスト：BPE（Byte-Pair Encoding）などのサブワードトークナイザでトークン化します。これは普通の言語モデルと同じです。
- 画像：VQ（ベクトル量子化）ベースの画像トークナイザを使い、画像を固定枚数の離散コードに変換します。論文では512×512の画像を1024個の離散トークンに変換し、画像用コードブックのサイズは8192です。VQトークナイザは、エンコーダが画像をパッチごとの特徴に変換し、各特徴をコードブック中の最も近いベクトルに置き換える（量子化する）ことで、連続的な画像を「コード番号の並び」に落とし込みます。デコーダが逆にコード列から画像を復元するので、画像とトークン列を行き来できます。
両者のトークンを共通の語彙表に統合します。テキストの語彙と画像の語彙を連結し、1つの大きな語彙にするわけです。こうすると、画像だろうとテキストだろうと、すべてが同じ語彙空間の「トークンID」になります。
トークン化されたら、画像とテキストを1つの系列に並べます。
テキストトークンと画像トークンが、1本の系列に交互（インターリーブ）に並びます。画像の開始・終了は特別な境界トークンで示すだけです。モデルから見れば、これは全体が同質な「トークン列」であり、やることは次トークン予測だけになります。
では、この混合トークン列をどう処理するのでしょうか。
統一Transformerによる混合モーダル自己回帰
Chameleonは、混合トークン列を単一のデコーダ型Transformerで自己回帰的に処理します。
アーキテクチャはGPTのようなデコーダ型Transformerそのものです。違うのは、入力の語彙にテキストと画像の両方が含まれている点だけです。モデルは過去のトークン列（テキストでも画像でも）を条件に、次のトークンを予測します。出力する次トークンがテキスト語ならテキストを、画像語なら画像を生成していることになります。
この設計の美しさは、1つのモデル・1つの目的（次トークン予測）で、あらゆるモダリティの理解と生成を統一できる点です。BLIP-2のように専用の接続部や複数の学習目的を設計する必要がなく、言語モデルで培われた技術がそのまま使えます。
ところが、この「全部混ぜる」設計は、そのままでは大規模学習で破綻します。次にその問題と解決を見ます。
大規模学習を安定させる工夫
Chameleon論文の重要な貢献の1つが、学習安定化です。
異なるモダリティを1つのモデルに詰め込むと、各モダリティが出力する特徴の大きさ（ノルム）が揃わず、学習が進むにつれて最終層の出力ノルムが膨張します。これがソフトマックスのlogitを過大にし、ある時点で損失が発散してしまうのです。Chameleonはこれを次の工夫で抑えます。
- QK-Norm：注意（Attention）を計算する前に、Query と Key を Layer Normで正規化します。これにより注意のlogit $\frac{QK^\top}{\sqrt{d}}$ が過大にならず、softmaxが暴れません。
- 正規化の配置とdropoutの調整：norm層の置き方（残差ブロック内の配置）やdropoutを調整し、深いモデルでの安定性を高めます。
- z-loss：ソフトマックスの分母（正規化項）$Z = \sum_j e^{z_j}$ が極端に大きくならないよう、$\log^2 Z$ にペナルティをかける正則化を加えます。最終的な損失は
$$ \mathcal{L} = \mathcal{L}_{\text{CE}} + \lambda \,(\log Z)^2 $$
の形で、$\mathcal{L}_{\text{CE}}$ は通常の交差エントロピー、第2項がz-lossです（$\lambda$ は小さな係数）。$\log Z$ が0付近に保たれることで、logitの絶対値が暴走せず数値的に安定します。これも出力スケールの暴走を防ぎます。
QK-Normも式で見ておくと、通常の注意 $\text{softmax}\big(\frac{QK^\top}{\sqrt{d}}\big)$ の代わりに、正規化した $\tilde{Q} = \text{LN}(Q),\ \tilde{K} = \text{LN}(K)$ を使って $\text{softmax}\big(\frac{\tilde{Q}\tilde{K}^\top}{\sqrt{d}}\big)$ を計算します。$Q, K$ のノルムが正規化で揃うため、内積（logit）が学習の進行とともに際限なく大きくなることを防げます。
これらの効果を概念的に示します。
安定化なし（赤）では、ある時点から損失も出力ノルムも発散します。QK-Normとz-lossを入れる（緑）と、損失は綺麗に収束し、出力ノルムも一定範囲に保たれます。論文Fig.5でも、この出力ノルムと損失の挙動が実データで示されています。
出典: Chameleon Team (Meta FAIR, 2024), Fig.5 (CC BY 4.0)
「アーキテクチャを提案するだけでなく、それを実際に大規模で学習しきる技術まで含めて示した」のが、この論文の実務的な価値です。安定化されたChameleonは、混合モーダルの生成を自在に行えます。
混合モーダル生成と能力
学習されたChameleonは、文章と画像を交互に生成できます。
自己回帰生成なので、1トークンずつ左から生成していきます。テキストを生成している途中で画像トークン列を生成し、画像が終わったらまた文章に戻る——というインターリーブ（交互）した文書を、1つのモデルでシームレスに作れます。「料理のレシピを画像付きで説明して」のような、文章と画像が混ざった出力が自然に得られるわけです。
画像理解・VQA・キャプション生成・テキストからの画像生成・混合文書生成を、すべて1つのモデルでこなせます。これらが別々のモデルや別々の目的を必要としないのが、早期融合の強みです。論文では、画像理解ベンチマークで強力なベースラインに匹敵し、混合モーダル生成では人間評価で高い好まれ度を得たと報告されています。
まとめ
Chameleonを、論文の図を引用しながら解説しました。要点を振り返ります。
- 早期融合：画像もテキストも入口で同じ離散トークンに変換し、最初から1つの系列・1つのTransformerで処理する。後期融合（接続型）より深くモダリティが混ざる。
- 離散トークン化：画像をVQトークナイザで離散コード化し、テキストのサブワードと共通語彙に統合。すべてが「次トークン予測」の対象になる。
- 統一アーキテクチャ：GPT型デコーダTransformer1つで、理解も生成も混合文書も扱う。専用接続部や複数目的が不要。
- 学習安定化：モダリティ混在による出力ノルム膨張・損失発散を、QK-Norm・norm配置調整・z-lossで抑え、大規模学習を成立させた。
- 能力：文章と画像を交互に生成するインターリーブ生成を含め、多様な視覚言語タスクを単一モデルでこなす。
「全モダリティを同じトークンにする」というChameleonの早期融合は、BLIP-2のような接続型とは対照的なアプローチで、GPT-4oに代表されるネイティブ・マルチモーダルの流れを象徴する一本です。言語モデルの技術をそのまま画像に拡張できる離散トークン化の発想は、今後のマルチモーダル基盤モデルの重要な選択肢であり続けるでしょう。