ユニグラム言語モデルによるサブワード分割の理論と実装
BPE（Byte Pair Encoding）でサブワード分割を学ぶと、たいてい...
サブワード分割手法の比較 — Unigram・BPE・WordPieceの学習アルゴリズムと性能を徹底比較
「ChatGPTに日本語で話しかけると、英語より料金が高くなる」——この現象の背...
多言語Transformerモデル（mBERT・XLM-R・mT5）— クロスリンガル転移学習の理論と実装
英語の感情分析データで学習したモデルが、日本語のレビューの感情を正しく判定できる...
BPE・WordPiece・SentencePieceを比較して理解する
トークナイゼーション（Tokenization）は、テキストを機械学習モデルが処...
トークナイゼーションの理論 — BPE・WordPiece・SentencePiece
自然言語処理モデルに文を入力するとき、文字列をそのまま渡すわけにはいきません。モ...
トークナイゼーション（BPE/WordPiece/SentencePiece）を解説
自然言語処理（NLP）において、テキストをモデルに入力するための最初のステップが...