構造化出力の制御（JSON・関数呼び出し） — LLMの出力をJSON等に制約するConstrained Decodingの理論と実装
ChatGPTに「ユーザー情報をJSONで返して」と頼むと、多くの場合それらしい...
BERTology — Probingタスクで事前学習モデルの内部知識を探る
BERT のようなTransformerベースの事前学習モデルは、大量のテキスト...
Multi-Head Attentionの理論と実装を完全解説
私たちが文章を読むとき、無意識のうちに複数の視点から情報を処理しています。たとえ...
Transformer Encoderの構造と実装を完全理解する
「銀行に行く」と「銀行の土手に座る」——同じ「銀行」という単語でも、周りの単語に...
Attentionの解釈性と限界 — 注意重みはモデルの説明になるか？
ある感情分析モデルが「この映画は退屈だったが、最後のどんでん返しは見事だった」と...
正弦波位置エンコーディングを具体例で理解する — Attention Is All You Needの位置表現
「犬が猫を追う」と「猫が犬を追う」。使われている単語は全く同じなのに、意味は正反...
ユニグラム言語モデルによるサブワード分割の理論と実装
BPE（Byte Pair Encoding）でサブワード分割を学ぶと、たいてい...
トークナイザーは日本語・多言語でどう効くか — Fertilityと語彙配分の理論
「こんにちは、世界」と "Hello, world" ——意味はほぼ同じなのに、...
Hugging Face Tokenizers実践ガイド — 高速トークナイザーの使い方とカスタム訓練
ChatGPTやBERTに文章を入力するとき、モデルは文字列をそのまま受け取って...
サブワード分割手法の比較 — Unigram・BPE・WordPieceの学習アルゴリズムと性能を徹底比較
「ChatGPTに日本語で話しかけると、英語より料金が高くなる」——この現象の背...