トークナイザーは日本語・多言語でどう効くか — Fertilityと語彙配分の理論
「こんにちは、世界」と "Hello, world" ——意味はほぼ同じなのに、...
Hugging Face Tokenizers実践ガイド — 高速トークナイザーの使い方とカスタム訓練
ChatGPTやBERTに文章を入力するとき、モデルは文字列をそのまま受け取って...
サブワード分割手法の比較 — Unigram・BPE・WordPieceの学習アルゴリズムと性能を徹底比較
「ChatGPTに日本語で話しかけると、英語より料金が高くなる」——この現象の背...
BPE・WordPiece・SentencePieceを比較して理解する
トークナイゼーション（Tokenization）は、テキストを機械学習モデルが処...
トークナイゼーションの理論 — BPE・WordPiece・SentencePiece
自然言語処理モデルに文を入力するとき、文字列をそのまま渡すわけにはいきません。モ...
トークナイゼーション（BPE/WordPiece/SentencePiece）を解説
自然言語処理（NLP）において、テキストをモデルに入力するための最初のステップが...