合成関数の微分は、物理学でも深層学習でも多くの分野で登場する重要な公式です。 大学数学で頻繁に登場する内容ですが、忘れた人は復習して、思い出せるようにしておきましょう。 合成関数の微分の公式 まず定義を先に提示します。 […]
確率変数$X$を線形変換するとは次のような操作を指します。 例えば、恣意的な設定ですが、くじ引きを引いた時、出た目の数$x$に対して賞金が$y = 100 x + 2000$円もらえるようなくじがあるとします。この時、出 […]
複数の入力を持つ、複数の多変数関数の微分を考える際に、ヤコビ行列が登場します。 数理統計における、確率変数の変数変換やニューラルネットワークにおける誤差逆伝播の計算にも登場する、機械学習や深層学習の中では非常に重要な計算 […]
多変数関数(multivariable function)とは、ある関数に対して、2つ以上の変数が入力されるような関数のことをいいます。 例えば、$x$, $y$の2つの入力から$z$が出力される関数$f$は二変数関数で […]
｜カテゴリー：数学
ベクトルの内積の定義について解説します。 ベクトルの内積の成分表示 ここでベクトルの成分表示における内積の式を提示します。 ベクトル$\bm{a}, \bm{b}$の成分がそれぞれ、$\bm{a} = (a_1, a_2 […]
深層学習の勉強をしていると、LSTMやRNNなどの活性化関数として、tanh(双曲線正接関数、ハイパボリックタンジェント関数)が頻出します。 tanhという略語に初めて出会った人は、少し面食らってしまう人もいるのではない […]
近年深層学習で、GNN(Graph Neural Netork)やGCN(Graph Convolutional Netowork)がノード分類、グラフ識別などのグラフを用いたタスクで非常に高い精度を上げています。 しか […]
｜カテゴリー：コンピュータサイエンス , データ構造 , 数学
深層学習や機械学習の最適化計算などをやっていくと、微分係数を求めることがよくあると思います。 今回は、Pythonで数値計算的に微分可能な関数の任意の地点の微分係数を求める方法を紹介します。 高校の数学で登場した内容です […]
論文等やテキストを書くとき、次のような場合分けをLatexで書くことは非常に多いと思います。 今回は、このような場合分けをLatexで書く方法について解説します。 場合分けをLatexで書く まず最初に結論を示します。 […]
｜カテゴリー：LATEX
今回の記事では、指数型分布族(exponential family)について解説していきます。中々聞き慣れない用語かもしれませんが、指数型分布族は、下記のような形式をとる確率分布の総称のことを示します。 ちなみに今回解説 […]