ユニグラム言語モデルによるサブワード分割の理論と実装
BPE（Byte Pair Encoding）でサブワード分割を学ぶと、たいてい...
トークナイザーは日本語・多言語でどう効くか — Fertilityと語彙配分の理論
「こんにちは、世界」と "Hello, world" ——意味はほぼ同じなのに、...
トークナイゼーション（BPE/WordPiece/SentencePiece）を解説
自然言語処理（NLP）において、テキストをモデルに入力するための最初のステップが...