英語の感情分析データで学習したモデルが、日本語のレビューの感情を正しく判定できるとしたら、それは驚くべきことではないでしょうか。英語と日本語は文法も語彙も表記体系もまったく異なります。にもかかわらず、1つのモデルが100以上の言語を同時に理解し、ある言語で学んだ知識を別の言語に「転移」できる — これが多言語Transformerモデルの実現した革命です。
この技術が必要とされる背景には、世界の言語的多様性と、NLPリソースの極端な偏りがあります。世界には約7,000の言語が存在しますが、大規模なラベル付きデータセットが利用できるのは英語をはじめとする数十言語に限られます。残りの大多数の言語は、ファインチューニング用のデータがほとんど存在しない「低リソース言語」です。多言語モデルは、英語などの高リソース言語で得た知識を低リソース言語に転移することで、この格差を埋めようとします。
多言語Transformerの理解は、以下のような応用場面で直接的に役立ちます。
- グローバルサービスのNLP: 多言語カスタマーサポート、多言語感情分析、多言語文書検索など、複数言語を同時に扱うシステムの設計判断
- 低リソース言語のNLP: アイヌ語、琉球語、アフリカ諸語など、ラベル付きデータがほぼ存在しない言語に対して、クロスリンガル転移で実用的なモデルを構築する
- 言語学的洞察: 多言語モデルが言語横断的な表現を獲得するメカニズムの理解は、人間の多言語能力に対する計算論的な視点を提供する
本記事の内容
- 多言語モデルが必要な背景と、言語リソースの不均衡問題
- mBERT（Multilingual BERT）の構造と、言語ラベルなしでの共有表現獲得メカニズム
- クロスリンガル転移学習の数学的定式化（英語→他言語ゼロショット推論）
- XLM-Rの設計と、Translation Language Modeling（TLM）の目的関数
- mT5の多言語Text-to-Textフレームワーク
- SentencePieceによる多言語トークナイゼーションと語彙配分の最適化
- Curse of Multilinguality — 言語数 vs モデル容量のトレードオフ
- Pythonでのクロスリンガル転移実験（英語→日本語ゼロショット感情分析）
- 日本語特化モデルとの性能比較
多言語Transformerの本質は、この図のように「表記も語順も異なる文を、1つの言語非依存の共有空間に写像する」点にあります。英語の “cat”、日本語の「猫」、ドイツ語の “Katze” が空間内で近くに集まることで、ある言語で学んだ判断を別の言語にそのまま流用できます。本記事では、この共有空間がどう作られ、どこまで機能するのかを順に解き明かしていきます。
前提知識
この記事を読む前に、以下の記事を読んでおくと理解が深まります。
なぜ多言語モデルが必要か — 100以上の言語を1つのモデルで
言語リソースの不均衡
NLPの世界には、深刻なリソースの偏りがあります。これを直感的に理解するために、具体的な数値を見てみましょう。
英語のWikipediaには約680万件の記事があり、大規模な感情分析コーパス（SST-2で約67,000件）、自然言語推論コーパス（MNLI で約43万件）、質問応答コーパス（SQuADで約10万件）が整備されています。一方、世界の言語の大部分はWikipediaの記事が1万件未満であり、ファインチューニング用のラベル付きデータはほぼ存在しません。
この状況は、教育にたとえると分かりやすくなります。英語は「教科書も問題集も模試も山ほどある恵まれた環境」で学習できますが、多くの言語は「教科書が1冊もない状態で試験を受けなければならない」のです。
この図は主要言語のWikipedia記事数を対数軸で並べたものです。縦軸が対数であることに注意してください。英語の680万件に対しスワヒリ語は8万件程度で、対数軸でも明確な段差があります。生のデータ量に比例して学習すると、低リソース言語（赤帯）はほとんど学習されません。この格差をどう埋めるかが、多言語モデル設計の出発点になります。
言語ごとにモデルを作る限界
素朴なアプローチは、各言語専用のモデルを個別に学習することです。しかし、このアプローチには根本的な問題があります。
データの問題: 100言語それぞれに十分な事前学習コーパスとラベル付きデータを用意するのは、現実的にほぼ不可能です。
コストの問題: BERT-baseの事前学習に約4日（4 TPU Pod = 16 TPU v3チップ）かかるとすると、100言語分の事前学習には延べ400日のTPU時間が必要です。
知識共有の欠如: 人間は母語で学んだ「論理的推論」「因果関係の理解」「感情の認識」といった能力を他の言語にも応用できます。言語ごとの個別モデルでは、このような言語横断的な知識の共有が一切行われません。
多言語モデルのアイデア
多言語モデルは、「1つのモデルに100以上の言語を同時に学習させ、言語間で共有できる表現を自動的に獲得させる」というアプローチです。これは一見、無理のある発想に思えるかもしれません。日本語と英語とアラビア語では文字体系も語順も形態論もまったく異なるのに、同じ埋め込み空間で表現できるのでしょうか？
驚くべきことに、答えは「かなりの程度までできる」です。この直感は、言語の「表層的な違い」と「深層的な共通性」を区別すると理解しやすくなります。表層的には、英語の “The cat sat on the mat.” と日本語の「猫がマットの上に座った」は全く異なります。しかし深層的には、どちらも「猫」「マット」「座る」「上」という意味要素と、その間の関係性（動作主・場所・位置）を表現しています。多言語モデルは、この深層的な共通構造を捉えた表現を学習するのです。
では、具体的にどのようにしてこの共有表現が獲得されるのでしょうか。最初に登場した多言語Transformerモデルである mBERT から見ていきましょう。
mBERT — 言語ラベルなしでの共有表現獲得
mBERTの構造
mBERT（Multilingual BERT）は、Google が2018年にBERTと同時にリリースした多言語版モデルです。その構造は、基本的にBERT-baseと同一です。
| パラメータ | 値 |
|---|---|
| レイヤー数 $L$ | 12 |
| 隠れ次元 $H$ | 768 |
| Attentionヘッド数 $A$ | 12 |
| 語彙サイズ $V$ | 119,547 |
| 対応言語数 | 104 |
| パラメータ総数 | 約1.78億 |
BERT-baseとの最も顕著な違いは、語彙サイズです。BERT-baseの語彙が30,522トークンであるのに対し、mBERTは119,547トークンの語彙を持ちます。この拡大は、104言語の文字と単語を1つのWordPiece語彙でカバーするために必要です。
重要なのは、mBERTには言語を識別するための特別な仕組みが一切含まれていないという点です。言語IDの埋め込みも、言語ごとのパラメータ分離も存在しません。モデルは、104言語のテキストが混在するコーパスで、通常のMasked Language Modeling（MLM）をそのまま適用するだけです。
事前学習の設定
mBERTの事前学習コーパスは、104言語のWikipediaテキストです。各言語のデータ量はWikipediaの記事数に応じて大きく異なりますが、そのまま比例配分すると英語が圧倒的に多くなり、低リソース言語のデータがほとんど学習されません。
この偏りを緩和するために、mBERTは指数平滑サンプリング（Exponential Smoothing Sampling）を採用しています。言語 $l$ のサンプリング確率は、その言語のコーパスサイズ $|C_l|$ に対して次のように定義されます。
$$ p_l = \frac{|C_l|^{\alpha}}{\sum_{l’} |C_{l’}|^{\alpha}} $$
ここで $\alpha$ は平滑化パラメータであり、mBERTでは $\alpha = 0.7$ が使われています。$\alpha = 1.0$ なら完全な比例配分（英語が圧倒的多数）、$\alpha = 0.0$ なら完全に均等配分です。$\alpha = 0.7$ はその中間で、高リソース言語の優位性を保ちつつ、低リソース言語のサンプリング頻度を引き上げるバランスを取っています。
具体的な数値で確認しましょう。英語のWikipediaが全体の20%、スワヒリ語が0.1%を占めるとします。
$\alpha = 1.0$（比例配分）の場合、英語のサンプリング確率は約20%、スワヒリ語は約0.1%です。英語はスワヒリ語の200倍サンプリングされます。
$\alpha = 0.7$ の場合を計算すると、英語は $0.20^{0.7} \approx 0.297$、スワヒリ語は $0.001^{0.7} \approx 0.00631$ となります（正規化前）。比率は約47倍に縮まります。200倍が47倍になったことで、スワヒリ語の学習機会が約4倍に増えるわけです。
3枚のパネルは、同じコーパス比率（赤い破線枠）に対して指数 $\alpha$ を変えたときのサンプリング確率（青棒）を示しています。$\alpha=1.0$ では青棒が破線枠とほぼ一致し、左端の高リソース言語に偏ります。$\alpha$ を 0.7、0.3 と下げるほど青棒は平坦になり、右側の低リソース言語が相対的に持ち上がります。XLM-Rの $\alpha=0.3$ がいかに積極的な均等化かが一目で分かります。
なぜ言語ラベルなしで共有表現が獲得されるのか
mBERTが言語横断的な表現を獲得するメカニズムは、完全には解明されていませんが、いくつかの有力な仮説があります。
共有サブワードによるアンカー効果: WordPiece語彙には、複数言語で共通して出現するサブワードが含まれます。数字（”2024″）、固有名詞（”Tokyo”、”Google”）、ラテン文字由来の科学用語（”DNA”、”algorithm”）などです。これらの共有トークンが、異なる言語の表現空間をつなぐ「アンカー」として機能します。たとえば、英語の “DNA is important for …” と日本語の “DNAは重要で …” という文では、”DNA” というトークンの文脈が言語間で類似するため、その周辺の表現も近い空間に配置されるようになります。
この図のように、両言語に共通する “DNA” というトークンが共有空間内の同じ点に固定（アンカー）されます。MLMの学習では “DNA” の周囲に現れる語の文脈が言語をまたいで似てくるため、英語側の “important” と日本語側の「重要」も自然に引き寄せられます。共通トークンが少数でも、それが言語間の「縫い目」となって表現空間全体を整列させるのがポイントです。
構造的類似性の暗黙的学習: MLMは、マスクされたトークンをその文脈から予測するタスクです。「主語の後に動詞が来る」「形容詞は名詞を修飾する」といった構文パターンは、語順こそ異なれど多くの言語に共通しています。マスク予測を通じて、モデルはこれらの構造的パターンを言語横断的に学習します。
意味的近接性の創発: 十分に多くの言語で同じ概念（例: 動物としての「犬」）に触れることで、意味的に等価な表現が近い空間に配置される圧力が生まれます。これは明示的に訓練されるわけではなく、MLMの副産物として創発的に生じる現象です。
Pires et al. (2019) の分析によれば、mBERTの多言語性は「語彙の重複」だけでは説明できません。語彙の重複がほとんどない言語ペア（例: 英語とヒンディー語）でも、かなりの程度のクロスリンガル転移が観察されるからです。これは、上述の構造的・意味的な要因が重要な役割を果たしていることを示唆しています。
mBERTが共有表現を獲得できることは分かりましたが、具体的にどのように「クロスリンガル転移」が実現されるのでしょうか。次のセクションで、その仕組みを数学的に定式化します。
クロスリンガル転移学習 — 英語でファインチューニング、他言語でゼロショット推論
転移学習の定式化
クロスリンガル転移学習の中核的なアイデアは、次のように定式化できます。
ソース言語（典型的には英語）のラベル付きデータセット $\mathcal{D}_s = \{(\bm{x}_i^{(s)}, y_i)\}_{i=1}^{N_s}$ と、ターゲット言語（例: 日本語）のラベルなしテキスト $\mathcal{D}_t = \{\bm{x}_j^{(t)}\}_{j=1}^{N_t}$ が与えられたとします。ここで $\bm{x}_i^{(s)}$ はソース言語のテキスト、$y_i$ はそのラベル（例: 感情極性）、$\bm{x}_j^{(t)}$ はターゲット言語のテキストです。
多言語モデル $f_\theta$ は、テキスト $\bm{x}$ を言語に依存しない表現 $\bm{h} \in \mathbb{R}^H$ に写像するエンコーダと、その表現からタスクの出力を予測する分類ヘッド $g_\phi$ で構成されます。
$$ \hat{y} = g_\phi(f_\theta(\bm{x})) $$
学習は2段階で行われます。
第1段階（多言語事前学習）: エンコーダ $f_\theta$ を、104言語のテキストでMLMにより事前学習します。この段階で、言語横断的な表現空間が形成されます。
第2段階（ソース言語でのファインチューニング）: ソース言語のラベル付きデータ $\mathcal{D}_s$ で、エンコーダ $f_\theta$ と分類ヘッド $g_\phi$ を同時にファインチューニングします。損失関数は、タスクに応じた標準的なものです。例えば $K$ クラス分類なら交差エントロピーです。
$$ \mathcal{L}_{\text{CE}} = -\frac{1}{N_s} \sum_{i=1}^{N_s} \sum_{k=1}^{K} y_{ik} \log P(y=k \mid \bm{x}_i^{(s)}; \theta, \phi) $$
ここで $y_{ik}$ は1-hotラベルの $k$ 番目の要素、$P(y=k \mid \bm{x}_i^{(s)}; \theta, \phi)$ はモデルの予測確率です。
推論段階（ゼロショットクロスリンガル転移）: ファインチューニング済みのモデルを、ターゲット言語のテキスト $\bm{x}_j^{(t)}$ にそのまま適用します。
$$ \hat{y}_j = \arg\max_k P(y=k \mid \bm{x}_j^{(t)}; \theta^*, \phi^*) $$
ここで $\theta^*, \phi^*$ はファインチューニング後のパラメータです。このとき、ターゲット言語のラベル付きデータは一切使用していないことに注意してください。これが「ゼロショット」と呼ばれる所以です。
この流れ図は、3つの段階を1枚にまとめたものです。①多言語事前学習で共有表現を作り、②英語のラベル付きデータだけで分類器を仕上げ、③そのモデルを日本語にそのまま適用します。注目すべきは右端で、日本語のラベルは0件という点です。①で言語をまたぐ表現が整っているからこそ、②で学んだ分類境界が③でも通用するわけです。
なぜゼロショット転移が機能するのか
ゼロショット転移が機能するためには、多言語モデルのエンコーダが次の性質を満たす必要があります。
言語不変性（Language Invariance）: 意味的に等価なテキストが、言語によらず近い表現にマッピングされること。
数学的には、ソース言語のテキスト $\bm{x}^{(s)}$ とその翻訳 $\bm{x}^{(t)}$ に対して、次の条件が近似的に成り立つことが求められます。
$$ \|f_\theta(\bm{x}^{(s)}) – f_\theta(\bm{x}^{(t)})\| < \epsilon $$
ここで $\epsilon$ は十分に小さい正の数です。
この言語不変性が完全に成り立てば、ソース言語で学習した分類境界がターゲット言語にもそのまま適用できます。実際には完全な不変性は達成されませんが、mBERTはかなりの程度までこの性質を示すことが実験的に確認されています。
ゼロショット転移の限界
ただし、ゼロショット転移には限界があります。言語間の距離が大きいほど（例: 英語→日本語は英語→ドイツ語よりも距離が大きい）、転移の精度は低下する傾向があります。また、言語固有の現象（日本語の助詞の用法、アラビア語の形態素変化など）はソース言語のデータからは学習できません。
この限界を克服するために、より洗練された多言語モデルが提案されました。その代表がXLM-Rです。次のセクションでは、XLM-Rがmとどのように異なる設計思想を持つかを見ていきましょう。
XLM-R — Cross-lingual Language Model RoBERTa
XLMからXLM-Rへの進化
XLM-R（Conneau et al., 2020）は、FacebookAI（現Meta AI）が開発したクロスリンガル言語モデルです。名前が示すように、XLM（Cross-lingual Language Model; Conneau & Lample, 2019）のアーキテクチャに、RoBERTaの学習レシピを適用したモデルです。
XLM-Rの設計を理解するには、まずXLMが導入した重要な概念を把握する必要があります。XLMは、mBERTのMLMに加えて、Translation Language Modeling（TLM） という新しい事前学習タスクを提案しました。
Translation Language Modeling（TLM）
TLMのアイデアは直感的です。MLMでは、マスクされたトークンの予測に単一言語の文脈しか使えません。しかし、もし翻訳ペア（対訳データ）があるなら、マスクされたトークンを他の言語の文脈からも予測できるはずです。
具体的には、TLMでは英語の文とそのフランス語訳を連結した入力を作成します。
$$ \text{[CLS]} \ \underbrace{x_1^{(en)} \ x_2^{(en)} \ \text{[MASK]} \ x_4^{(en)}}_{\text{英語文}} \ \text{[SEP]} \ \underbrace{x_1^{(fr)} \ x_2^{(fr)} \ x_3^{(fr)} \ \text{[MASK]}}_{\text{フランス語文}} \ \text{[SEP]} $$
この入力に対してMLMを適用すると、英語の [MASK] を予測するためにフランス語の文脈を参照でき、逆にフランス語の [MASK] を予測するために英語の文脈を参照できます。
TLMの目的関数を形式的に書くと次のようになります。対訳ペア $(\bm{x}^{(s)}, \bm{x}^{(t)})$ を連結した入力 $\bm{x}_{\text{concat}} = [\bm{x}^{(s)}; \bm{x}^{(t)}]$ に対して、マスク集合 $\mathcal{M}$ 内のトークンの予測損失を最小化します。
$$ \mathcal{L}_{\text{TLM}} = -\sum_{i \in \mathcal{M}} \log P(x_i \mid \bm{x}_{\text{concat} \setminus \mathcal{M}}; \theta) $$
この目的関数は通常のMLMと形式的には同じですが、入力が2言語の連結であるため、Attentionメカニズムが言語間の対応関係を直接学習できる点が決定的に異なります。たとえば、英語の “cat” がマスクされたとき、モデルはフランス語の “chat”（猫）に注意を向けることで正解を予測できます。この過程で、”cat” と “chat” の表現が近い空間に配置されるよう学習が進みます。
この図は、英語文とそのフランス語訳を [SEP] で連結し、両方にマスクをかけたTLMの入力を表しています。紫の矢印が示すように、英語側の [MASK] を埋めるとき、モデルは単言語の文脈だけでなく対訳であるフランス語側のトークンにも注意を向けられます。MLMが「単言語の穴埋め」なのに対し、TLMは「対訳を見ながらの穴埋め」であり、言語間の対応を明示的なシグナルとして与えられるのが強みです。
XLM-RがTLMを捨てた理由
ここまでTLMの仕組みを説明してきましたが、実はXLM-RはTLMを使いません。これは意外に思えるかもしれません。TLMは理論的には強力なクロスリンガルシグナルを提供するはずです。
XLM-RがTLMを採用しなかった理由は、実用上の制約にあります。TLMには大規模な対訳コーパスが必要ですが、質の高い対訳データが利用できるのは主要な言語ペア（英語-フランス語、英語-ドイツ語など）に限られます。100言語をカバーしようとすると、対訳データの入手が困難な言語ペアが多数存在します。
代わりに、XLM-RはRoBERTaの学習レシピ（動的マスキング、NSP廃止、大バッチ学習、大規模データ）を多言語設定に適用するアプローチを取りました。つまり、TLMのような明示的なクロスリンガルシグナルに頼らず、大規模な単言語データの大量学習だけで強力なクロスリンガル表現を獲得できることを示したのです。
XLM-Rのモデル構成
XLM-Rの具体的な設計を見てみましょう。
| パラメータ | XLM-R Base | XLM-R Large |
|---|---|---|
| レイヤー数 $L$ | 12 | 24 |
| 隠れ次元 $H$ | 768 | 1,024 |
| Attentionヘッド数 $A$ | 12 | 16 |
| FFN中間次元 | 3,072 | 4,096 |
| 語彙サイズ $V$ | 250,002 | 250,002 |
| 対応言語数 | 100 | 100 |
| パラメータ総数 | 約2.78億 | 約5.59億 |
mBERTとの最大の違いは、語彙サイズとデータ規模です。XLM-Rの語彙は250,002トークンで、mBERTの119,547トークンの約2倍です。この拡大は、より多くの言語のサブワードを十分にカバーするためです。
事前学習データは、CommonCrawlから抽出した2.5TBのクリーンテキスト（100言語）です。mBERTのWikipediaデータと比較すると、質（Wikipedia）から量（CommonCrawl）への大胆なシフトと言えます。この判断は、RoBERTaの研究で示された「より多くのデータ、より長い学習」の原則を多言語設定に拡張したものです。
XLM-Rのサンプリング戦略
XLM-Rでもmと同様に、言語間のデータ量の不均衡を緩和するサンプリング戦略が使われます。XLM-Rでは $\alpha = 0.3$ が採用されており、mBERTの $\alpha = 0.7$ よりも低リソース言語をさらに強くアップサンプリングします。
$$ p_l = \frac{|C_l|^{0.3}}{\sum_{l’} |C_{l’}|^{0.3}} $$
先ほどの英語（20%）とスワヒリ語（0.1%）の例で計算すると、英語は $0.20^{0.3} \approx 0.617$、スワヒリ語は $0.001^{0.3} \approx 0.125$ となります（正規化前）。比率は約4.9倍で、mBERTの47倍と比較すると劇的に均等化されています。
この攻撃的なアップサンプリングには、高リソース言語の性能を犠牲にするリスクがありますが、XLM-Rはモデルサイズの増大（特にLargeモデル）でこれを補償しています。
XLM-Rは100言語でMLMだけを使って、mBERTやXLMを大幅に上回るクロスリンガル性能を達成しました。しかし、ここまでのモデルはすべてEncoder型です。では、Encoder-Decoder型のモデルを多言語化するとどうなるでしょうか？ 次のセクションでは、T5の多言語版である mT5 を見ていきます。
mT5 — 多言語T5、101言語のText-to-Text
Text-to-Textフレームワークの多言語展開
mT5（Xue et al., 2021）は、T5（Text-to-Text Transfer Transformer）を多言語に拡張したモデルです。T5の設計哲学は「すべてのNLPタスクをテキスト-テキスト変換として統一する」というものでしたが、mT5はこの哲学を101言語に拡張します。
たとえば、英語の感情分析は T5 では次のように扱います。
入力: "sentiment: This movie is amazing."
出力: "positive"
mT5 では、同じフレームワークで日本語も処理できます。
入力: "sentiment: この映画は素晴らしい。"
出力: "positive"
さらに、翻訳タスクも同じモデルで扱えます。
入力: "translate English to Japanese: The cat sat on the mat."
出力: "猫がマットの上に座った。"
この統一的なインターフェースにより、多言語の分類、生成、翻訳、質問応答などを1つのモデルで処理できます。
mT5の事前学習
mT5の事前学習は、T5と同様にSpan Corruption（スパン破損）タスクを使います。入力テキストのランダムな連続区間（スパン）をマスクし、そのスパンをデコーダで生成するという自己教師あり学習です。
形式的には、入力テキスト $\bm{x} = (x_1, x_2, \ldots, x_n)$ から、ランダムに選択されたスパン $\{(s_k, e_k)\}_{k=1}^{m}$（$s_k$ は開始位置、$e_k$ は終了位置）を特殊トークン $\langle \text{extra\_id\_}k \rangle$ に置き換えます。エンコーダへの入力は次のようになります。
$$ \bm{x}_{\text{masked}} = (x_1, \ldots, x_{s_1-1}, \langle \text{extra\_id\_0} \rangle, x_{e_1+1}, \ldots, x_{s_2-1}, \langle \text{extra\_id\_1} \rangle, \ldots) $$
デコーダのターゲットは、各スパンの内容を特殊トークンで区切って連結したものです。
$$ \bm{y} = (\langle \text{extra\_id\_0} \rangle, x_{s_1}, \ldots, x_{e_1}, \langle \text{extra\_id\_1} \rangle, x_{s_2}, \ldots, x_{e_2}, \ldots) $$
損失関数は、デコーダの出力に対する標準的な交差エントロピーです。
$$
\mathcal{L}_{\text{SC}} = -\sum_{t=1}^{|\bm{y}|} \log P(y_t \mid y_{ mT5は、Small から XXL まで5つのサイズで提供されています。 語彙サイズは全サイズ共通で250,112トークンです。XLM-Rとほぼ同じ語彙サイズですが、トークナイザーにはWordPieceではなくSentencePiece（Unigram Language Model）を使用しています。 mT5は101言語のmC4（multilingual Colossal Clean Crawled Corpus）で学習されますが、そのサンプリング戦略は温度付きサンプリングと呼ばれる方式を採用しています。 言語 $l$ のサンプリング確率は、温度パラメータ $T$ を用いて次のように定義されます。 $$
p_l = \frac{|C_l|^{1/T}}{\sum_{l’} |C_{l’}|^{1/T}}
$$ mT5では $T = 100$ が採用されています。$T = 1$ は比例配分、$T \to \infty$ は完全均等配分に対応します。$T = 100$ はかなり均等に近い配分であり、XLM-Rの $\alpha = 0.3$（$1/T \approx 0.01$ に相当）よりもさらに積極的な低リソース言語のアップサンプリングを行います。 ここまで登場した3モデルの設計を、一覧で見比べておきましょう。 この表からは、3モデルの系譜が読み取れます。mBERTとXLM-RはともにEncoder型ですが、XLM-RはRoBERTaのレシピで語彙を約2倍（250K）に広げ、データもWikipediaからCommonCrawl 2.5TBへ大規模化しています。mT5だけがEncoder-Decoder型で、Span Corruptionにより生成タスクまで統一的に扱えます。サンプリングは下に行くほど（$\alpha=0.7 \to 0.3 \to T=100$）低リソース言語を強く持ち上げる方向に進化しています。 ここまでの3つのモデル（mBERT、XLM-R、mT5）すべてに共通する課題の1つが、多言語トークナイゼーションです。100以上の言語を1つの語彙でどのようにカバーするかは、多言語モデルの性能に直結する重要な設計選択です。次のセクションでは、この問題を詳しく見ていきましょう。 サブワードトークナイゼーションは、英語のような単一言語では非常にうまく機能します。しかし、100以上の言語を1つの語彙で扱おうとすると、根本的な問題が生じます。それは語彙の配分問題です。 この問題を直感的に理解するために、25万トークンの語彙を100言語で共有する状況を考えてみましょう。完全に均等に配分すると、1言語あたり2,500トークンです。英語の場合、日常的な英単語は約3,000〜5,000語あるため、2,500トークンではまったく足りません。一方、語彙の大部分を英語に割り当てると、日本語やタイ語のような言語は極端に細かいサブワード（場合によっては1文字ずつ）に分割され、同じ意味のテキストが英語の何倍もの長さのトークン列になってしまいます。 この「トークン列の長さの不均衡」は、単なる効率の問題ではありません。Transformerの Self-Attention は $O(n^2)$ の計算量を持つため、トークン列が2倍になると計算コストは4倍になります。さらに、最大系列長（例: 512トークン）の制約があるため、トークン列が長い言語はより少ない意味情報しか1入力に含められません。 トークナイゼーションの言語間の不均衡を定量的に評価する指標として、Fertility（肥沃度） が使われます。Fertilityは、ある言語のテキストが平均的に何トークンに分割されるかを測る指標で、次のように定義されます。 $$
\text{Fertility}(l) = \frac{\text{トークン数}(l)}{\text{単語数}(l)}
$$ 英語のBERT語彙に対するFertilityは約1.0〜1.3（ほぼ1単語1トークン）ですが、日本語は約2.5〜3.5（1単語が2〜3トークンに分割される）、タイ語やクメール語は5を超えることもあります。 mBERTの語彙（119,547トークン）とXLM-Rの語彙（250,002トークン）を比較すると、XLM-Rの方が語彙が大きいため、全体的にFertilityが低くなります。特に低リソース言語でのFertilityの改善が顕著で、これがXLM-Rの性能向上に寄与していると考えられています。 mT5 やXLM-Rで使われるSentencePieceは、言語に依存しないトークナイゼーションを実現するツールです。特にUnigramモデルは、与えられたコーパスに対して最適なサブワード集合を選択する確率的手法です。 Unigramモデルでは、各サブワード $s_i$ に確率 $p(s_i)$ が割り当てられ、テキスト $\bm{x}$ のトークン化 $\bm{s} = (s_1, s_2, \ldots, s_m)$ の尤度は次のように計算されます。 $$
P(\bm{s}) = \prod_{i=1}^{m} p(s_i)
$$ 最適なトークン化は、尤度を最大化するものとして選ばれます。 $$
\bm{s}^* = \arg\max_{\bm{s} \in \mathcal{S}(\bm{x})} P(\bm{s})
$$ ここで $\mathcal{S}(\bm{x})$ はテキスト $\bm{x}$ の全てのトークン化候補の集合です。この最適化はViterbiアルゴリズムで効率的に解くことができます。 多言語の語彙学習では、100以上の言語のテキストを混合したコーパスに対してSentencePieceを学習させます。このとき、各言語のサンプリング比率が語彙配分に直接影響します。英語のデータが多すぎると英語のサブワードが語彙の多くを占め、低リソース言語は不利になります。 XLM-Rでは、語彙学習時のサンプリングにも $\alpha = 0.3$ の指数平滑化を適用し、低リソース言語のサブワードが語彙に十分含まれるようにしています。mT5も同様に温度付きサンプリングを語彙学習に適用しています。 語彙配分の問題は、次のセクションで扱う「Curse of Multilinguality」のより広い文脈の一部です。多言語モデルの根本的なトレードオフを見ていきましょう。 多言語モデルは「100言語を1つのモデルで」という魅力的な約束をしますが、これには本質的なコストが伴います。Curse of Multilinguality（多言語の呪い） と呼ばれるこのトレードオフは、固定サイズのモデルに対して言語数を増やしていくと、各言語の性能が低下するという現象です。 直感的には、これは教室のアナロジーで理解できます。1人の教師（モデル）が10人の生徒（言語）を教えるなら、各生徒にかなりの時間を割けます。しかし、100人の生徒を同じ教師が教えなければならなくなると、1人あたりの指導時間は激減します。教師の能力（パラメータ数）を増やせば問題は緩和されますが、完全には解消されません。 Conneau et al. (2020) は、XLM-Rの論文でこのトレードオフを系統的に分析しました。固定サイズのTransformerモデルに対して、言語数 $N$ を7、15、30、100と増やしていったときの各言語の性能変化を測定しています。 $N$ 個の言語を1つのモデルに収容する場合、パラメータは大きく分けて言語固有の表現と言語共有の表現に使われます。言語固有の表現に必要な容量は言語数にほぼ比例して増加しますが、共有表現の容量は言語数の増加にともなって相対的に圧縮されます。 この関係を簡略化すると、モデルの総容量 $C$ が言語固有の容量 $C_{\text{specific}}$ と共有容量 $C_{\text{shared}}$ の和で表されるとき、 $$
C = C_{\text{specific}} + C_{\text{shared}}
$$ 言語数 $N$ を増やすと $C_{\text{specific}}$ は増加を要求されますが、$C$ は固定なので $C_{\text{shared}}$ が圧迫されます。 $$
C_{\text{shared}} = C – C_{\text{specific}}(N)
$$ $C_{\text{specific}}(N)$ は $N$ に対して単調増加するため、$C_{\text{shared}}$ は $N$ に対して単調減少します。共有表現の容量が減少すると、クロスリンガル転移の性能が低下します。 左図は、固定サイズモデルに言語を増やしたときの性能変化です。高リソース言語（オレンジ・緑）は言語数が増えるほど劣化し、Largeモデルほどその劣化が緩やかです。一方、低リソース言語（青）は転移の恩恵で逆に向上します。右図は容量の取り合いを示し、言語数が増えると言語固有の容量 $C_{spec}$ が膨らみ、共有容量 $C_{shared}$ が圧迫される様子が分かります。これがCurse of Multilingualityの正体です。 XLM-Rの論文の実験では、以下の傾向が観察されました。 高リソース言語の性能低下: 英語やフランス語など、単言語モデルでは高性能を達成できる言語は、多言語モデルでは性能が低下します。7言語モデルから100言語モデルに拡大すると、英語のXNLI精度は約2〜3ポイント低下しました。 低リソース言語の性能向上: スワヒリ語やウルドゥー語など、単独では十分なデータがない言語は、多言語モデルに含まれることでクロスリンガル転移の恩恵を受け、ゼロショット性能が向上します。 モデルサイズの効果: モデルサイズを大きくする（例: XLM-R Base → XLM-R Large）と、Curse of Multilinguality が緩和されます。大きなモデルほど、多言語を収容する余裕があるためです。 Curse of Multilinguality に対するいくつかの緩和策が提案されています。 モデルの大型化: 最も直接的な対策です。XLM-R Largeは5.59億パラメータで、Baseの2.78億パラメータと比較して、多言語設定でも顕著に優れた性能を示しています。 言語アダプター: モデルの大部分を言語間で共有しつつ、小さな言語固有のアダプターモジュール（数百万パラメータ）を追加する手法です。MAD-X（Pfeiffer et al., 2020）などが代表的です。 語彙の最適化: 先述の語彙配分の最適化は、Curse of Multilinguality の語彙レベルでの緩和策と見なすことができます。 言語クラスタリング: 類似した言語をグループ化し、グループごとの専門モデルを学習する手法も検討されています。ただし、これは「1つのモデルで全言語」という多言語モデルの本来の目標とは相反します。 ここまで、多言語モデルの理論的な基盤を見てきました。では、実際にこれらのモデルがどの程度のクロスリンガル転移を実現できるのか、Pythonで実験してみましょう。 ここでは、多言語モデルのクロスリンガル転移能力を確認するための実験を行います。具体的には、英語の感情分析データでファインチューニングしたモデルが、日本語のテキストに対してどの程度正確に感情を予測できるかを検証します。 まずは、多言語モデルのトークナイゼーションが言語間でどのように異なるかを確認しましょう。Fertilityの違いを可視化します。 上記コードを日本語ラベルで実行すると、次のグラフが得られます。 このグラフからいくつかの重要な傾向が読み取れます。 次に、多言語モデルが本当に言語横断的な表現を獲得しているかを確認するため、意味的に等価な文のペアが埋め込み空間でどのように配置されるかを可視化します。 上記コードを日本語ラベルで実行すると、次の2枚並びの散布図が得られます。 この可視化から2つの重要な傾向が確認できます。 続いて、クロスリンガル転移の核心である「英語でファインチューニング → 日本語でゼロショット推論」のパイプラインを実装します。以下のコードは、Hugging Face Transformers を使った実装例です。 上記コードを日本語ラベルで実行すると、次の棒グラフが得られます。 この実験結果から、クロスリンガル転移の重要な特性が読み取れます。 最後に、ソース言語とターゲット言語の「距離」とゼロショット転移の精度の関係をより詳しく分析します。 上記コードを日本語ラベルで実行すると、次の散布図が得られます。 この散布図から、クロスリンガル転移の本質的な構造が見えてきます。 では最後に、多言語モデルと日本語に特化して学習されたモデルでは、日本語タスクにおいてどちらが優れているのでしょうか。次のセクションで比較します。 Curse of Multilinguality の議論から予想されるように、100言語を同時に扱う多言語モデルは、日本語だけに集中して学習したモデルに対して、日本語タスクでは不利です。この考えに基づいて開発されたのが、日本語特化モデルです。 代表的な日本語特化モデルには以下のものがあります。 東北大BERT（cl-tohoku/bert-base-japanese）: 日本語Wikipediaで事前学習されたBERT-baseモデル。MeCab + WordPiece によるトークナイゼーションで、日本語の形態素解析に基づいた自然な分割が可能です。語彙サイズは約32,000トークンで、すべて日本語のテキストをカバーするために使われます。 LUKE（studio-ousia/luke-japanese-base）: Wikipedia の構造化情報（エンティティ）を活用した事前学習により、固有表現認識（NER）や関係抽出で特に強力なモデルです。 DeBERTa V2日本語版: DeBERTaアーキテクチャを日本語データで事前学習したモデルで、JGLUEベンチマークの多くのタスクで高い性能を示しています。 以下のコードで、日本語の各種NLPタスクにおける多言語モデルと日本語特化モデルの性能を比較します。 上記コードを日本語ラベルで実行すると、次の棒グラフが得られます。 この比較から、多言語モデルと日本語特化モデルの関係が明確になります。 性能だけを見ると日本語特化モデルが常に有利ですが、多言語モデルが選ばれる場面も多くあります。 このチャートは、モデル選択の指針を視覚的にまとめたものです。 本記事では、多言語Transformerモデル（mBERT、XLM-R、mT5）のアーキテクチャ、クロスリンガル転移学習のメカニズム、および実践的な応用について解説しました。 多言語NLPは急速に発展している分野です。次のステップとして、以下の記事も参考にしてください。mT5のモデルバリエーション
モデル
パラメータ数
レイヤー数
隠れ次元
FFN次元
ヘッド数
mT5-Small
3億
8
512
1,024
6
mT5-Base
5.8億
12
768
2,048
12
mT5-Large
12億
24
1,024
2,816
16
mT5-XL
37億
24
2,048
5,120
32
mT5-XXL
130億
24
4,096
10,240
64
mT5のサンプリング戦略
トークナイゼーションの多言語対応 — SentencePieceの語彙配分問題
多言語トークナイゼーションの課題
Fertility（肥沃度）による分析
SentencePiece Unigramモデルの多言語語彙学習
Curse of Multilinguality — 言語数 vs モデル容量のトレードオフ
モデル容量の有限性
数学的な分析
実験的な証拠
緩和策
Pythonでのクロスリンガル転移実験
実験の概要
import numpy as np
import matplotlib.pyplot as plt
from collections import defaultdict
# 各言語・モデルにおけるFertility（1単語あたりの平均トークン数）の代表値
# 論文の報告値および実験に基づく近似値
models = ['mBERT\n(119K vocab)', 'XLM-R\n(250K vocab)', 'mT5\n(250K vocab)']
languages = ['English', 'German', 'French', 'Chinese', 'Japanese', 'Thai', 'Swahili']
# Fertility値（行: 言語、列: モデル）
fertility_data = np.array([
[1.1, 1.0, 1.0], # English
[1.5, 1.2, 1.2], # German
[1.3, 1.1, 1.1], # French
[2.5, 1.8, 1.7], # Chinese
[3.2, 2.4, 2.2], # Japanese
[5.1, 3.5, 3.0], # Thai
[3.8, 2.0, 1.8], # Swahili
])
fig, ax = plt.subplots(figsize=(10, 6))
x = np.arange(len(languages))
width = 0.25
colors = ['#2196F3', '#FF9800', '#4CAF50']
for i, (model, color) in enumerate(zip(models, colors)):
bars = ax.bar(x + i * width, fertility_data[:, i], width,
label=model, color=color, alpha=0.85, edgecolor='white')
ax.set_xlabel('Language', fontsize=12)
ax.set_ylabel('Fertility (tokens per word)', fontsize=12)
ax.set_title('Tokenization Fertility Across Languages and Models', fontsize=14)
ax.set_xticks(x + width)
ax.set_xticklabels(languages, fontsize=10)
ax.legend(fontsize=10)
ax.axhline(y=1.0, color='gray', linestyle='--', alpha=0.5, label='Ideal (1 token/word)')
ax.set_ylim(0, 6)
ax.grid(axis='y', alpha=0.3)
plt.tight_layout()
plt.show()
多言語埋め込みの言語間アライメントの可視化
import numpy as np
import matplotlib.pyplot as plt
from sklearn.decomposition import PCA
# 実際のモデル出力をシミュレーション
# 多言語モデルの[CLS]トークンの埋め込み（768次元を2次元にPCA）
np.random.seed(42)
# 6つの概念カテゴリ × 3言語のシミュレーション埋め込み
# 実際のmBERT/XLM-Rでは、同じ意味のテキストが近い空間に配置される
categories = ['Science', 'Sports', 'Politics', 'Technology', 'Food', 'Music']
n_categories = len(categories)
# 各カテゴリのクラスタ中心を生成
cluster_centers = np.random.randn(n_categories, 2) * 3
# 各言語のサンプルをクラスタ中心の近くに配置
# 言語間オフセットは小さい（良い多言語モデルほど小さい）
lang_offsets = {
'English': np.array([0.0, 0.0]),
'Japanese': np.array([0.2, -0.15]),
'German': np.array([-0.1, 0.2]),
}
lang_markers = {'English': 'o', 'Japanese': '^', 'German': 's'}
lang_colors_map = {'English': '#E53935', 'Japanese': '#1E88E5', 'German': '#43A047'}
fig, axes = plt.subplots(1, 2, figsize=(14, 6))
# 左: mBERTのシミュレーション（言語間オフセットが大きめ）
ax = axes[0]
ax.set_title('mBERT Embeddings (Simulated)', fontsize=13)
for lang, offset_base in lang_offsets.items():
offset = offset_base * 3.0 # mBERTは言語間の距離が大きい
for i, cat in enumerate(categories):
n_samples = 5
points = cluster_centers[i] + offset + np.random.randn(n_samples, 2) * 0.4
ax.scatter(points[:, 0], points[:, 1],
marker=lang_markers[lang], c=lang_colors_map[lang],
alpha=0.6, s=50,
label=lang if i == 0 else "")
if lang == 'English':
ax.annotate(cat, cluster_centers[i], fontsize=8,
ha='center', alpha=0.7,
bbox=dict(boxstyle='round,pad=0.3', facecolor='yellow', alpha=0.3))
ax.legend(fontsize=10, loc='upper left')
ax.set_xlabel('PCA Component 1', fontsize=10)
ax.set_ylabel('PCA Component 2', fontsize=10)
ax.grid(True, alpha=0.2)
# 右: XLM-Rのシミュレーション（言語間オフセットが小さい）
ax = axes[1]
ax.set_title('XLM-R Embeddings (Simulated)', fontsize=13)
for lang, offset_base in lang_offsets.items():
offset = offset_base * 0.8 # XLM-Rは言語間の距離が小さい
for i, cat in enumerate(categories):
n_samples = 5
points = cluster_centers[i] + offset + np.random.randn(n_samples, 2) * 0.3
ax.scatter(points[:, 0], points[:, 1],
marker=lang_markers[lang], c=lang_colors_map[lang],
alpha=0.6, s=50,
label=lang if i == 0 else "")
if lang == 'English':
ax.annotate(cat, cluster_centers[i], fontsize=8,
ha='center', alpha=0.7,
bbox=dict(boxstyle='round,pad=0.3', facecolor='yellow', alpha=0.3))
ax.legend(fontsize=10, loc='upper left')
ax.set_xlabel('PCA Component 1', fontsize=10)
ax.set_ylabel('PCA Component 2', fontsize=10)
ax.grid(True, alpha=0.2)
plt.suptitle('Cross-lingual Embedding Alignment: mBERT vs XLM-R', fontsize=14, y=1.02)
plt.tight_layout()
plt.show()
ゼロショットクロスリンガル感情分析の実装
import numpy as np
import matplotlib.pyplot as plt
# ゼロショットクロスリンガル転移の概念的パイプライン
# 実際の推論結果に基づくシミュレーション
# --- Step 1: 英語の学習データ（感情分析）---
english_train_data = [
("This movie was absolutely wonderful and touching.", "positive"),
("The food at this restaurant is terrible.", "negative"),
("I had an amazing experience at the hotel.", "positive"),
("The customer service was incredibly rude.", "negative"),
("What a beautiful performance by the orchestra!", "positive"),
("This product broke after just one day of use.", "negative"),
]
# --- Step 2: 日本語のテストデータ（ラベルなし → ゼロショット推論）---
japanese_test_data = [
("この映画は本当に素晴らしかった。感動的な作品です。", "positive"),
("このレストランの料理はひどい味でした。", "negative"),
("ホテルでの滞在は最高の体験でした。", "positive"),
("カスタマーサービスの対応が非常に失礼でした。", "negative"),
("オーケストラの演奏は美しかった。", "positive"),
("この製品は1日で壊れました。", "negative"),
("景色が綺麗で、とてもリラックスできました。", "positive"),
("予約したのに席が用意されていなかった。", "negative"),
]
# --- Step 3: モデルごとのゼロショット精度（論文報告値に基づくシミュレーション）---
# 各モデルの英語→日本語ゼロショット転移の精度
models_transfer = {
'mBERT': {
'en_accuracy': 0.91, # 英語（ソース言語）での精度
'ja_accuracy': 0.73, # 日本語（ゼロショット）での精度
'de_accuracy': 0.82, # ドイツ語（ゼロショット）での精度
'fr_accuracy': 0.83, # フランス語（ゼロショット）での精度
'zh_accuracy': 0.72, # 中国語（ゼロショット）での精度
'sw_accuracy': 0.58, # スワヒリ語（ゼロショット）での精度
},
'XLM-R Base': {
'en_accuracy': 0.93,
'ja_accuracy': 0.78,
'de_accuracy': 0.85,
'fr_accuracy': 0.86,
'zh_accuracy': 0.77,
'sw_accuracy': 0.67,
},
'XLM-R Large': {
'en_accuracy': 0.95,
'ja_accuracy': 0.83,
'de_accuracy': 0.89,
'fr_accuracy': 0.90,
'zh_accuracy': 0.82,
'sw_accuracy': 0.74,
},
}
# 可視化: モデルごと・言語ごとのゼロショット精度
fig, ax = plt.subplots(figsize=(12, 6))
target_langs = ['English\n(source)', 'German', 'French', 'Chinese', 'Japanese', 'Swahili']
keys = ['en_accuracy', 'de_accuracy', 'fr_accuracy', 'zh_accuracy', 'ja_accuracy', 'sw_accuracy']
x = np.arange(len(target_langs))
width = 0.25
colors = ['#2196F3', '#FF9800', '#4CAF50']
for i, (model_name, metrics) in enumerate(models_transfer.items()):
values = [metrics[k] for k in keys]
bars = ax.bar(x + i * width, values, width, label=model_name,
color=colors[i], alpha=0.85, edgecolor='white')
# 数値ラベル
for bar, val in zip(bars, values):
ax.text(bar.get_x() + bar.get_width() / 2, bar.get_height() + 0.01,
f'{val:.0%}', ha='center', va='bottom', fontsize=8)
ax.set_xlabel('Target Language', fontsize=12)
ax.set_ylabel('Accuracy', fontsize=12)
ax.set_title('Zero-shot Cross-lingual Transfer: Sentiment Analysis\n(Fine-tuned on English, evaluated on target languages)',
fontsize=13)
ax.set_xticks(x + width)
ax.set_xticklabels(target_langs, fontsize=10)
ax.legend(fontsize=10, loc='upper right')
ax.set_ylim(0, 1.05)
ax.axhline(y=0.5, color='gray', linestyle='--', alpha=0.5, label='Random baseline')
ax.grid(axis='y', alpha=0.3)
plt.tight_layout()
plt.show()
言語間の転移性能の距離依存性の分析
import numpy as np
import matplotlib.pyplot as plt
# 言語間の類型的距離（WALS: World Atlas of Language Structures に基づく近似）
# と XLM-R Large のゼロショット転移精度の関係
language_data = {
'German': {'typological_distance': 0.15, 'accuracy': 0.89, 'family': 'Germanic'},
'Dutch': {'typological_distance': 0.12, 'accuracy': 0.90, 'family': 'Germanic'},
'French': {'typological_distance': 0.25, 'accuracy': 0.90, 'family': 'Romance'},
'Spanish': {'typological_distance': 0.27, 'accuracy': 0.89, 'family': 'Romance'},
'Italian': {'typological_distance': 0.28, 'accuracy': 0.88, 'family': 'Romance'},
'Russian': {'typological_distance': 0.45, 'accuracy': 0.84, 'family': 'Slavic'},
'Bulgarian': {'typological_distance': 0.43, 'accuracy': 0.85, 'family': 'Slavic'},
'Hindi': {'typological_distance': 0.55, 'accuracy': 0.79, 'family': 'Indo-Aryan'},
'Arabic': {'typological_distance': 0.62, 'accuracy': 0.77, 'family': 'Semitic'},
'Turkish': {'typological_distance': 0.58, 'accuracy': 0.78, 'family': 'Turkic'},
'Chinese': {'typological_distance': 0.70, 'accuracy': 0.82, 'family': 'Sinitic'},
'Japanese': {'typological_distance': 0.75, 'accuracy': 0.83, 'family': 'Japonic'},
'Korean': {'typological_distance': 0.73, 'accuracy': 0.80, 'family': 'Koreanic'},
'Thai': {'typological_distance': 0.68, 'accuracy': 0.76, 'family': 'Kra-Dai'},
'Vietnamese': {'typological_distance': 0.65, 'accuracy': 0.78, 'family': 'Austroasiatic'},
'Swahili': {'typological_distance': 0.72, 'accuracy': 0.74, 'family': 'Bantu'},
'Urdu': {'typological_distance': 0.56, 'accuracy': 0.78, 'family': 'Indo-Aryan'},
}
# データ抽出
distances = [v['typological_distance'] for v in language_data.values()]
accuracies = [v['accuracy'] for v in language_data.values()]
families = [v['family'] for v in language_data.values()]
names = list(language_data.keys())
# 語族ごとの色
family_colors = {
'Germanic': '#2196F3', 'Romance': '#E91E63', 'Slavic': '#9C27B0',
'Indo-Aryan': '#FF9800', 'Semitic': '#795548', 'Turkic': '#607D8B',
'Sinitic': '#F44336', 'Japonic': '#1E88E5', 'Koreanic': '#00BCD4',
'Kra-Dai': '#8BC34A', 'Austroasiatic': '#CDDC39', 'Bantu': '#FF5722',
}
fig, ax = plt.subplots(figsize=(10, 7))
for name, data in language_data.items():
color = family_colors.get(data['family'], '#999999')
ax.scatter(data['typological_distance'], data['accuracy'],
c=color, s=100, alpha=0.8, edgecolors='white', linewidth=0.5, zorder=5)
ax.annotate(name, (data['typological_distance'], data['accuracy']),
xytext=(5, 5), textcoords='offset points', fontsize=8, alpha=0.8)
# 線形回帰フィット
z = np.polyfit(distances, accuracies, 1)
p = np.poly1d(z)
x_fit = np.linspace(0.05, 0.85, 100)
ax.plot(x_fit, p(x_fit), 'k--', alpha=0.5, linewidth=1.5, label=f'Linear fit (slope={z[0]:.3f})')
# 英語（ソース言語）のリファレンスライン
ax.axhline(y=0.95, color='green', linestyle=':', alpha=0.5, label='English (source) = 0.95')
ax.set_xlabel('Typological Distance from English', fontsize=12)
ax.set_ylabel('Zero-shot Accuracy (XLM-R Large)', fontsize=12)
ax.set_title('Cross-lingual Transfer vs Typological Distance\n(Sentiment Analysis, XLM-R Large)', fontsize=13)
ax.legend(fontsize=10, loc='lower left')
ax.set_xlim(0, 0.85)
ax.set_ylim(0.70, 0.96)
ax.grid(True, alpha=0.2)
plt.tight_layout()
plt.show()
日本語特化モデルとの比較
なぜ日本語特化モデルが存在するのか
多言語モデル vs 日本語特化モデルの性能比較
import numpy as np
import matplotlib.pyplot as plt
# JGLUEおよび日本語NLPタスクにおける各モデルの性能比較
# 論文・ベンチマーク報告値に基づく近似値
tasks = ['Sentiment\n(MARC-ja)', 'NLI\n(JNLI)', 'QA\n(JSQuAD)', 'STS\n(JSTS)', 'NER\n(Wikipedia)']
# 各モデルのタスクごとの性能（精度またはF1スコア）
model_scores = {
'mBERT': [0.85, 0.73, 0.78, 0.76, 0.72],
'XLM-R Base': [0.88, 0.77, 0.82, 0.80, 0.76],
'XLM-R Large': [0.92, 0.83, 0.87, 0.85, 0.82],
'Tohoku BERT': [0.93, 0.86, 0.89, 0.87, 0.85],
'Japanese DeBERTa': [0.95, 0.90, 0.92, 0.90, 0.88],
}
fig, ax = plt.subplots(figsize=(12, 7))
x = np.arange(len(tasks))
n_models = len(model_scores)
width = 0.15
colors = ['#2196F3', '#FF9800', '#4CAF50', '#E91E63', '#9C27B0']
for i, (model_name, scores) in enumerate(model_scores.items()):
offset = (i - n_models / 2 + 0.5) * width
bars = ax.bar(x + offset, scores, width, label=model_name,
color=colors[i], alpha=0.85, edgecolor='white')
ax.set_xlabel('Task', fontsize=12)
ax.set_ylabel('Score (Accuracy / F1)', fontsize=12)
ax.set_title('Japanese NLP Tasks: Multilingual Models vs Japanese-specific Models', fontsize=13)
ax.set_xticks(x)
ax.set_xticklabels(tasks, fontsize=10)
ax.legend(fontsize=9, loc='lower right', ncol=2)
ax.set_ylim(0.65, 1.0)
ax.grid(axis='y', alpha=0.3)
# 注釈
ax.annotate('Japanese-specific models\noutperform multilingual ones',
xy=(3.3, 0.90), fontsize=9, style='italic', alpha=0.7,
bbox=dict(boxstyle='round,pad=0.3', facecolor='lightyellow', alpha=0.5))
plt.tight_layout()
plt.show()
多言語モデルと日本語特化モデルの使い分け
import numpy as np
import matplotlib.pyplot as plt
# 多言語モデル vs 日本語特化モデルの選択基準を可視化
criteria = [
'Japanese\nOnly Task',
'Multi-language\nSupport',
'Zero-shot\nTransfer',
'Low Resource\nLanguage',
'Single Model\nDeployment',
'Edge Device\n(Size)',
]
# 各アプローチの適合度（0-1）
multilingual_scores = [0.7, 1.0, 1.0, 1.0, 1.0, 0.3]
ja_specific_scores = [1.0, 0.1, 0.0, 0.0, 0.2, 0.8]
fig, ax = plt.subplots(figsize=(10, 6))
x = np.arange(len(criteria))
width = 0.35
bars1 = ax.barh(x - width/2, multilingual_scores, width,
label='Multilingual (XLM-R)', color='#2196F3', alpha=0.85)
bars2 = ax.barh(x + width/2, ja_specific_scores, width,
label='Japanese-specific (Tohoku BERT)', color='#E91E63', alpha=0.85)
ax.set_xlabel('Suitability Score', fontsize=12)
ax.set_title('When to Use Multilingual vs Japanese-specific Models', fontsize=13)
ax.set_yticks(x)
ax.set_yticklabels(criteria, fontsize=10)
ax.legend(fontsize=10, loc='lower right')
ax.set_xlim(0, 1.15)
ax.grid(axis='x', alpha=0.3)
plt.tight_layout()
plt.show()
まとめ