BLIP-2を徹底解説 — 凍結した画像エンコーダとLLMをQ-Formerで橋渡しする【ICML 2023】

GPT-4Vのような「画像を見て言葉で答えるAI」を作りたいとします。素直に考えると、巨大な画像エンコーダと巨大な言語モデル（LLM）を繋いで、両方まとめて学習することになります。しかしこれは途方もなく高価です。何十億パラメータものモデルを2つ同時に学習するには、莫大な計算資源とデータが要ります。

BLIP-2（Bootstrapping Language-Image Pre-training） は、この問題に巧妙な答えを出しました。ICML 2023で発表されたこの論文（Li et al., Salesforce）の発想はこうです——「巨大モデルは2つとも凍結（重みを固定）したまま、その間を繋ぐごく軽量な部品だけを学習すればよい」。その橋渡し役が Q-Former（Querying Transformer） です。

この設計により、BLIP-2は学習コストを劇的に下げながら、当時の視覚言語タスクで高い性能を達成しました。そして「凍結したLLMに視覚を接続する」という設計思想は、その後のLLaVAをはじめとするマルチモーダルLLMの土台になりました。

この記事では、BLIP-2の核心であるQ-Formerと2段階学習を、論文の図（CC BY 4.0）を引用しながら、読めば全部わかる形で解説します。

なぜBLIP-2を学ぶのか

BLIP-2を理解する価値は、次の場面で効いてきます。

• マルチモーダルLLMの設計の原型がわかる：「凍結エンコーダ＋凍結LLM＋軽量な接続部」という構成は、現在のVLM（視覚言語モデル）の基本形です。BLIP-2はその出発点です。
• モダリティギャップの埋め方を学べる：視覚と言語という異質な情報をどう繋ぐか、という普遍的な課題への1つの解答を与えます。
• 計算効率の良い転移学習の手本になる：巨大モデルを凍結して小さな部品だけ学習する考え方は、LoRAなどのパラメータ効率的な手法と同じ精神を持ちます。

この記事を読む前に、以下を押さえておくとスムーズです。

• CLIP（対照的視覚言語事前学習）
• マルチモーダルLLMの基礎
• Attention Is All You Need を読み解く
• LLaVA のアーキテクチャ

全体像 — 凍結した2つを軽い橋で繋ぐ

まずBLIP-2の全体構成を見ます。

構成要素は3つです。

1. 画像エンコーダ（凍結）：ViTなどの学習済み画像エンコーダ。重みは固定し、学習しません。
2. LLM（凍結）：OPTやFlan-T5などの学習済み大規模言語モデル。これも固定します。
3. Q-Former（学習対象）：両者の間に置く軽量なTransformer。これだけを学習します。

巨大モデル2つを再学習しないので、学習対象のパラメータ数が桁違いに少なく、計算コストが大幅に下がります。論文の概観図も見ておきましょう。

出典: Li et al., “BLIP-2: Bootstrapping Language-Image Pre-training with Frozen Image Encoders and Large Language Models” (ICML 2023), Fig.1 (CC BY 4.0)

ここで自然な疑問が湧きます。凍結した画像エンコーダの出力を、そのまま凍結したLLMに入れても通じないのはなぜでしょうか。それは、画像特徴とLLMが期待する入力の間にモダリティギャップ（視覚と言語の溝）があるからです。この溝を埋めるのがQ-Formerの役割です。

Q-Former の内部構造

Q-Formerの中身を見ていきます。

Q-Formerの最大の特徴は、入力として学習可能なクエリ（query）ベクトルを持つことです（論文では32本）。これは画像でも文章でもなく、学習で獲得される「質問者」のような固定ベクトル群です。処理の流れはこうです。

1. Cross-Attention：32本のクエリが、凍結した画像エンコーダの出力（数百本の画像特徴トークン）を参照し、必要な情報を吸い上げます。
2. Self-Attention + FFN：クエリ同士が情報をやり取りし、Transformerブロックで表現を整えます。
3. 出力：32本の「クエリ表現」が得られます。これが画像から抽出された、コンパクトな視覚情報です。

Cross-Attentionを式で書くと、クエリ行列 $Q \in \mathbb{R}^{32 \times d}$ を query に、凍結画像エンコーダの出力 $Z \in \mathbb{R}^{M \times d}$（$M$ は画像トークン数）を key・value に使い、

$$ \text{CrossAttn}(Q, Z) = \text{softmax}\!\left(\frac{Q W_q (Z W_k)^\top}{\sqrt{d}}\right) Z W_v $$

を計算します。$M$ 本の画像特徴を $32$ 本のクエリへ「重み付き集約」する操作です。Q-Formerでは、このCross-Attentionが数ブロックおきに挿入され、残りはクエリ同士のSelf-AttentionとFFNで構成されます。

重要なのは、Q-Formerが情報のボトルネックとして働く点です。

画像エンコーダの出力は数百トークンと冗長ですが、Q-Formerはそれを32本に絞り込みます。この圧縮の過程で「LLMに渡すと役立つ情報」だけを選別するわけです。固定長のコンパクトな表現になるので、LLMへの接続も扱いやすくなります。これがモダリティギャップを埋める鍵です。

では、Q-Formerはどうやって「役立つ情報を選ぶ」能力を獲得するのでしょうか。それを担うのが2段階の学習戦略です。

Stage 1 — 視覚言語の表現学習

BLIP-2の学習は2段階に分かれます。まず Stage 1 では、LLMにはまだ繋がず、Q-Former単体で「画像と言語を結びつける表現」を学習します。論文Fig.2を見ましょう。

出典: Li et al. (ICML 2023), Fig.2 (CC BY 4.0)

Stage 1 では、CLIPやオリジナルBLIPと同じく3つの目的を同時に学習します。自作図で整理します。

• ITC（Image-Text Contrastive）：画像のクエリ表現と対応する文を近づけ、無関係な文とは遠ざける対照学習。クエリと文が互いに見えないよう注意マスクを分離します。
• ITM（Image-Text Matching）：画像と文が整合しているか否かを2値分類。クエリと文が互いに見える双方向マスクを使います。
• ITG（Image-grounded Text Generation）：画像を条件にキャプションを生成。未来の単語を見ないよう因果マスクを使います。

それぞれの目的を少し式で補います。ITCは、画像のクエリ表現 $q$ と文表現 $t$ の類似度を温度 $\tau$ つきソフトマックスで対照学習します（正しいペアの $\text{sim}(q,t)$ を上げ、他は下げる）。ITMは結合表現を2値分類器に通し、整合なら1・不整合なら0を当てます。ITGは画像を条件に文の対数尤度 $\sum_i \log p(w_i \mid w_{

3つの目的で1つのQ-Formerを共用し、目的ごとに自己注意マスクだけを切り替えるのがポイントです。ITCはクエリとテキストが互いを見ない「ユニモーダルマスク」、ITMは全部が見える「双方向マスク」、ITGはテキストが過去だけ見る「因果マスク」を使います。マスクを変えるだけで対照・マッチング・生成という性質の異なる3タスクを1つのネットワークで扱えるわけです。これにより、クエリは「画像の意味を捉え、かつ言語と結びつく」表現を獲得します。

Stage 1 で良い視覚表現が手に入ったら、次はそれをLLMに接続します。

Stage 2 — LLMへの生成的接続

Stage 2 では、学習済みQ-FormerをLLMに繋ぎ、「画像を読んでテキストを生成する」能力を引き出します。論文Fig.3です。

出典: Li et al. (ICML 2023), Fig.3 (CC BY 4.0)

接続の仕組みを自作図で示します。

やっていることはシンプルです。

1. Q-Formerが出した32本のクエリ表現を、全結合層（FC）でLLMの単語埋め込みと同じ次元に投影します。
2. 投影したベクトルを、LLMの入力テキストの先頭に差し込む——いわば「ソフトな視覚プロンプト」です。
3. 凍結したLLMは、この視覚プロンプトを文脈として、続きのテキスト（キャプションや回答）を生成します。

LLMから見ると、画像が「入力の先頭にある特殊なトークン列」として渡されている格好です。LLMの言語能力はそのまま活かしつつ、Q-Formerが用意した視覚情報を条件に文章を作れるわけです。OPT（デコーダ型）にもFlan-T5（エンコーダ・デコーダ型）にも接続でき、LLMを差し替えられる柔軟さも持ちます。

なぜこの2段階が効くのか——その効率性を次に確認します。

なぜ効率的なのか

BLIP-2の最大の実用的利点は、学習コストの低さです。

画像エンコーダとLLMという最も重い2つを凍結するので、学習するのはQ-Former（と小さな投影層）だけです。論文では、BLIP-2は当時の最先端だったFlamingoと比べて学習可能パラメータが大幅に少ないにもかかわらず、ゼロショットVQAでより高い精度を達成したと報告されています。「巨大モデルを再利用し、繋ぎ目だけ学ぶ」という設計が、性能とコストの両立を生んだわけです。

なぜ2段階に分けるかにも理由があります。Stage 1 を飛ばしていきなりLLMに繋ぐと、Q-Formerが「LLMに有用な視覚表現」を学べず、性能が落ちます。先に Stage 1 で視覚言語の対応を学ばせておくことが、Stage 2 の生成学習を成功させる前提になっています。論文Fig.5でも、この表現学習の効果が示されています。

こうして学習されたBLIP-2は、1つのモデルで多様なタスクをこなせます。

応用とゼロショット能力

BLIP-2は、追加学習なし（ゼロショット）で多様な視覚言語タスクに対応できます。

画像キャプション生成、視覚質問応答（VQA）、画像-文検索などをこなせます。特に注目すべきは、指示に従ったゼロショット画像対話です。凍結LLMがもともと持っている指示追従能力をそのまま使えるので、「この画像について詩を書いて」「写っているものを数えて」といった自由な指示に応答できます。これは、視覚を接続してもLLMの言語的知性が損なわれないことを示しており、後のマルチモーダルLLMが目指す方向を先取りした成果でした。

まとめ

BLIP-2を、論文の図を引用しながら解説しました。要点を振り返ります。

• 設計思想：巨大な画像エンコーダとLLMを凍結し、その間を繋ぐ軽量なQ-Formerだけを学習する。学習コストを大幅に削減。
• Q-Former：学習可能な32本のクエリがCross-Attentionで画像特徴から要点を吸い上げ、固定長のコンパクトな視覚表現に圧縮する情報ボトルネック。
• Stage 1：ITC / ITM / ITG の3目的を注意マスクの切り替えで同時学習し、視覚と言語を結びつける表現を獲得。
• Stage 2：Q-Formerの出力をFC層でLLMの入力空間へ投影し、ソフトな視覚プロンプトとして凍結LLMに差し込んでテキスト生成。
• 成果：少ない学習パラメータでFlamingoを上回るゼロショット性能。凍結LLMの指示追従能力を活かした画像対話を実現。

「巨大モデルを凍結し、繋ぎ目だけを学ぶ」というBLIP-2のアプローチは、効率的なマルチモーダル学習の雛形となりました。視覚を接続部で橋渡しするこの発想は、LLaVAなど後続のマルチモーダルLLMに受け継がれ、今のVLM隆盛の礎になっています。