ディープラーニングの学習をしていると、最も難解に思えるのが、誤差逆伝播法(Back Propagation)と呼ばれる、ニューラルネットワークの重みパラメータの更新方法です。 様々な深層学習の入門書を読んでも、この部分が […]
｜カテゴリー：深層学習
深層学習で登場するシグモイド関数の数式とその導関数を、Pythonを用いてグラフ化・可視化していきます。 シグモイド関数自体は、深層学習では活性化関数として広く利用されており、誤差逆伝搬においては、その導関数の性質から、 […]
｜カテゴリー：深層学習
RNN(Recurrent Neural Network)は1990年代の以外と古くから存在するニューラルネットワークの手法で、時系列予測や自然言語処理の多くのニューラルネットワークの手法の源流となっている手法です。 現 […]
ニューラルネットワーク(深層学習)を用いた分類機は、非線形分離性能があることが知られています。 非線形の分離性能とは、データに対して直線ではない、分類境界を引くことができる性能のことです。 例えば、次のような渦巻き上のデ […]
カテゴリ変数をOne-Hot-Encoding化することは、機械学習やデータサイエンスの実務をおこなっていると頻繁に操作することになると思います。 今回は、One-Hot-EncodingをPythonで実行する方法につ […]
LSTMは深層学習を用いた時系列データなどの予測モデルに利用できる手法で、RNNが抱える問題点を改善する手法となっています。 さまざまな論文等でLSTMがベースラインで利用されるなど、広く利用されている手法です。 今回は […]
機械学習や深層学習の手法の検証に使える、渦巻き上のデータセットを作成してみます。 線形(直線)で分離できないデータ群をうまく分類する手法の検証用途に利用できます。 端的に上記のようなデータセットを利用することができます。 […]
RNN(Recurrent Neural Network)は、深層学習のアルゴリズムの中でも、CNNと並ぶ代表的なアルゴリズムです。基本的に深層学習を学び始めると、CNNに続いてRNNを学ぶことになると思います。 RNN […]
コサイン類似度(cosine similarity)は、2つのベクトルの類似度を示す指標です。 コサイン類似度は、-1 〜 1の間で値をとり、2つのベクトルの向きが近い時に、コサイン類似度の値は1に近くなり、反対にベクト […]
pytorch-geometricでは、グラフ状の様々な畳み込み操作をメッセージパッシングの枠組みで、柔軟に記述できるMessagePasssingクラスが用意されています。 MessagePasssingを利用すること […]
｜カテゴリー：Python , グラフニューラルネットワーク , 深層学習