【深層学習】GATを用いた多変量異常検知 GDNの論文を解説

今回は、GAT(Graph Attention Network)を利用した異常検知手法であるGDN(Graph Deviation Network)について解説します。 GDNは2021 年にAAAIで発表された Gra […]

【深層学習】Graph Attention Networks(GAT)を理解する

深層学習やGNN(Graph Neural Network)関連の論文を読み漁っていると、Graph Attention Network(GAT, グラフアテンションネットワーク)に関する論文を目にすることが多くあると思 […]

【深層学習】GCN(グラフ畳み込みネットワーク)をわかりやすく解説する

GCN(Graph Convolution Network)は、GNN(Graph Neural Network)の1種類で、2022年現在、機械学習やAIのトップカンファレンスであるICMLやICLRで、非常に多くGC […]

【GCN】pytorchでグラフ畳み込みネットワーク(GCN)を実装する

GCN(Graph Convolutional Network、グラフ畳み込みネットワーク) は、2017年に深層学習のトップカンファレスであるICLRで発表されて以来、徐々に注目を集めており、2022年現在深層学習関連 […]

【PyG】PyTorch Geometricのインストール方法から利用方法まで解説

PyG(PyTorch Geometric)は、PyTorchでグラフ構造を取り入れた、GCNやGATなどのニューラルネットワークを簡単に実装、学習、推論などができるライブラリです。 グラフ構造を有するオープンなデータセ […]

[状態空間モデル]ローカルレベルモデルとは

ローカルレベルモデルは、時系列解析や現在制御における状態空間モデルのもっとも現象がシンプルになるような設定や仮定をおいたモデルです。別名、ランダムウォーク・プラス・ノイズ・モデルとも呼ばれています。 今回は状態空間モデル […]

[論文紹介]Bayesian Online Changepoint Detectionを解説する

2007年に発表された、Bayesian Online Changepoint Detectionの紹介と解説を行います。該当論文のarxivへのリンクはこちらになっています。この解説記事は、この論文の英語版の解説記事を […]

[状態空間モデル]線形ガウス型モデルによる時系列の異常検知

次回列分析においては、ARIMAやSARIMAのように、過去の観測値をもとにモデル化する手法がある一方で、状態空間モデルは、観測値以外の見えない状態量があると仮定し、その状態により観測値が生起されるとしてモデル化する手法 […]

線形動的システムのパラメータをEMアルゴリズムで推定する

カルマンフィルタ リング問題に代表されるような、線形動的システム(Linear Dynamical System)のパラメータをEMアルゴリズムで推定してみます。 やってる内容そのものは、「Parameter Estim […]

【深層学習】誤差逆伝播法をわかりやすく解説

ディープラーニングの学習をしていると、最も難解に思えるのが、誤差逆伝播法(Back Propagation)と呼ばれる、ニューラルネットワークの重みパラメータの更新方法です。 様々な深層学習の入門書を読んでも、この部分が […]

シグモイド関数の微分(導関数)を導出してグラフ化する

深層学習で登場するシグモイド関数の数式とその導関数を、Pythonを用いてグラフ化・可視化していきます。 シグモイド関数自体は、深層学習では活性化関数として広く利用されており、誤差逆伝搬においては、その導関数の性質から、 […]

合成関数の微分をわかりやすく解説する

合成関数の微分は、物理学でも深層学習でも多くの分野で登場する重要な公式です。 大学数学で頻繁に登場する内容ですが、忘れた人は復習して、思い出せるようにしておきましょう。 合成関数の微分の公式 まず定義を先に提示します。 […]

確率変数の線形変換をすると平均や分散はどうなる?確率密度関数など解説

確率変数$X$を線形変換するとは次のような操作を指します。 例えば、恣意的な設定ですが、くじ引きを引いた時、出た目の数$x$に対して賞金が$y = 100 x + 2000$円もらえるようなくじがあるとします。この時、出 […]

数理最適化(数理計画法)に入門する

深層学習や機械学習を勉強していると、目的関数を最小化するために、データからパラメータを学習することが多々あると思います。 実はこの内容自体は、最適化数学の文脈で語ることができます。今回は、数理最適化について、初心者向けに […]

RNNを分かりやすく解説してPythonでスクラッチ実装する

RNN(Recurrent Neural Network)は1990年代の以外と古くから存在するニューラルネットワークの手法で、時系列予測や自然言語処理の多くのニューラルネットワークの手法の源流となっている手法です。 現 […]