LLM | 機械学習と情報技術

構造化出力の制御（JSON・関数呼び出し） — LLMの出力をJSON等に制約するConstrained Decodingの理論と実装

2026年8月11日 Transformer

ChatGPTに「ユーザー情報をJSONで返して」と頼むと、多くの場合それらしい...

Constrained Decoding Function Calling JSON LLM NLP Transformer テキスト生成

Self-Consistencyと多数決推論 — 複数の推論パスで精度を高める手法

2026年8月11日 Transformer

テストや試験を思い出してください。難しい問題に出会ったとき、1回だけ解いて終わり...

Chain-of-Thought LLM Self-Consistency プロンプトエンジニアリング推論機械学習深層学習

Context Window拡張技術 — 学習済みモデルのコンテキスト長を後から伸ばす手法を徹底解説

2026年8月11日 Transformer

LLaMAは4,096トークンで学習されました。しかし実務では、1本の論文（約8...

Context Window LLM NTK-Aware Scaling Position Interpolation RoPE Transformer YaRN

GraphRAGとは？知識グラフでRAGの弱点を克服する仕組みを完全解説

2026年8月11日 NLP

社内に技術報告書が500本たまっているとします。ここで上司から「この資料群を通し...

GraphRAG LLM RAG グラフ理論コミュニティ検出知識グラフ

Test-Time Scaling（推論時スケーリング）とは？考える時間を増やしてLLMを賢くする仕組み

2026年8月11日 NLP

難しい数学の問題を出されたとき、あなたは即答するでしょうか。しません。紙に書き、...

Chain-of-Thought LLM Test-Time Scaling 強化学習探索推論モデル

GRPOとは？DeepSeek-R1を生んだ強化学習をPPOとの違いから完全解説

2026年8月11日強化学習

模試を返されたとき、あなたが最初に見るのは素点でしょうか、それとも偏差値でしょう...

DeepSeek GRPO LLM PPO 強化学習推論モデル

RoPE（回転位置埋め込み）とは？相対位置を回転で表す仕組みを図解でわかりやすく解説

2026年7月5日 Transformer

RoPE（Rotary Position Embedding、回転位置埋め込み）...

Llama LLM RoPE Transformer 位置エンコーディング

Multi-Query / Grouped-Query Attention（MQA/GQA）— KVキャッシュを削ってLLM推論を軽くする

2026年7月2日 Transformer

長い文章をLLMに書かせていると、最初の応答が出るまでは待たされるのに、そこから...

GQA KVキャッシュ LLM MQA Transformer 推論高速化深層学習

位置エンコーディング比較：原論文の正弦波からデファクトのRoPEへ — なぜ絶対位置から回転位置に移ったか

2026年7月2日 Transformer

Transformerを学ぶと必ず出てくるのが「位置エンコーディング（Posit...

LLM RoPE Transformer 位置エンコーディング正弦波位置エンコーディング相対位置

誘導ヘッド（Induction Heads）とin-context learning — LLMが文脈から学ぶ仕組みに迫る機構的解釈入門

2026年7月2日 Transformer

大規模言語モデルの不思議な能力のひとつに in-context learning...

Attention LLM Transformer 機構的解釈深層学習

[data-arkb-linkbox]{cursor:auto}[data-arkb-link][aria-hidden="true"]{visibility:visible;color:transparent;z-index:0;width:100%;height:100%;pointer-events:auto}a.arkb-boxLink__title{text-decoration:underline}