stop-gradient（停止勾配）とは？順伝播はそのまま、逆伝播だけを止める仕組みを徹底理解
ディープラーニングの論文を読んでいると、stop_gradient、.detac...
逆強化学習の理論 — 行動から報酬関数を推定する
自動運転のAIを開発するとき、「安全に運転する」という目標をどのように数学的に定...
勾配推定の3つの方法：reparameterization・REINFORCE・Gumbel-softmaxをわかりやすく
ニューラルネットの学習は「損失を $\theta$ で微分して、勾配の逆向きに少...
強化学習の基礎 — MDPとベルマン方程式をわかりやすく解説
強化学習（Reinforcement Learning）は、エージェントが環境と...
マルコフ決定過程（MDP）の定義と性質を解説
マルコフ決定過程（Markov Decision Process, MDP）は、...
ベルマン方程式の導出と解釈をわかりやすく解説
ベルマン方程式（Bellman equation）は、強化学習と動的計画法の中核...
方策勾配法の理論と導出を解説して実装する
Q学習やSARSAといった価値ベースの手法では、行動価値関数 $Q(s, a)$...
RLHFの仕組みを3ステップで完全理解する
RLHF（Reinforcement Learning from Human F...
Q学習とSARSAをわかりやすく解説
強化学習では、エージェントが環境と相互作用しながら試行錯誤で最適な行動を学びます...
DPO（Direct Preference Optimization）— 報酬モデルなしでLLMをアライメントする
ChatGPTが「有害な回答を避ける」「ユーザーの意図に沿った回答を生成する」こ...