Transformer | 機械学習と情報技術

構造化出力の制御（JSON・関数呼び出し） — LLMの出力をJSON等に制約するConstrained Decodingの理論と実装

2026年8月11日 Transformer

ChatGPTに「ユーザー情報をJSONで返して」と頼むと、多くの場合それらしい...

Constrained Decoding Function Calling JSON LLM NLP Transformer テキスト生成

BERTology — Probingタスクで事前学習モデルの内部知識を探る

2026年8月11日 Transformer

BERT のようなTransformerベースの事前学習モデルは、大量のテキスト...

BERT BERTology NLP Probing Transformer 解釈性言語表現

Context Window拡張技術 — 学習済みモデルのコンテキスト長を後から伸ばす手法を徹底解説

2026年8月11日 Transformer

LLaMAは4,096トークンで学習されました。しかし実務では、1本の論文（約8...

Context Window LLM NTK-Aware Scaling Position Interpolation RoPE Transformer YaRN

PatchTST — パッチ化とチャネル独立設計で時系列Transformerを革新する【ICLR 2023】

2026年7月5日時系列分析

Transformerは自然言語処理や画像認識で圧倒的な成功を収めてきましたが、...

ICLR PatchTST Transformer チャネル独立パッチ化時系列予測自己教師あり学習

RoPE（回転位置埋め込み）とは？相対位置を回転で表す仕組みを図解でわかりやすく解説

2026年7月5日 Transformer

RoPE（Rotary Position Embedding、回転位置埋め込み）...

Llama LLM RoPE Transformer 位置エンコーディング

埋め込みの次元を増やす・結合するとは何をしているのか — 次元拡張の意図とメリット・落とし穴

2026年7月5日深層学習

100人を10畳の部屋に詰め込むと、誰もが隣の人とぶつかります。同じ100人を、...

Transformer マルチモーダル学習埋め込み次元深層学習表現学習

Transformerをゼロから実装する — PyTorchで全コンポーネントを構築

2026年7月4日 Transformer

Transformerのコードを読んで「何となく分かった気になっている」状態にと...

Self-Attention Transformer ニューラルネットワーク実装機械学習

Multi-Head Attentionの理論と実装を完全解説

2026年7月4日 Transformer

私たちが文章を読むとき、無意識のうちに複数の視点から情報を処理しています。たとえ...

Multi-Head Attention NLP Self-Attention Transformer 深層学習

Transformer Decoderの構造とMasked Self-Attentionの仕組み

2026年7月4日 Transformer

ChatGPTに文章を書かせるとき、モデルは「文章全体」をいきなり出力しているわ...

Cross-Attention Decoder Masked Attention Transformer 深層学習

Transformer Encoderの構造と実装を完全理解する

2026年7月4日 Transformer

「銀行に行く」と「銀行の土手に座る」——同じ「銀行」という単語でも、周りの単語に...

Encoder NLP Self-Attention Transformer 深層学習

[data-arkb-linkbox]{cursor:auto}[data-arkb-link][aria-hidden="true"]{visibility:visible;color:transparent;z-index:0;width:100%;height:100%;pointer-events:auto}a.arkb-boxLink__title{text-decoration:underline}