Kunst Site
Blogブログ
About Site当サイトについて
Portfolioポートフォリオ
Contact問い合わせ

(特徴)ガウス過程回帰を理解したい-Gaussian Process Regression


データサイエンス教師あり学習
更新日:2022-02-22

はじめに

現在、ガウス過程を使った研究をしつつ勉強しているのですが、その備忘録として簡単にガウス過程の特徴についてまとめてみました。

研究や勉強を通してわかった特徴があれば随時更新していきたいです。

ガウス過程における特徴

無限次元のガウス分布

別記事で述べてますが線形回帰モデルは、基底関数における特徴ベクトルの数を増やすことで複雑な関数も表現できます。

f(x)=w1φ2(x)+w2φ2(x)+⋯+wmφm(x)=∑imwiφi(x)f(x)=w_1\varphi_2(x)+w_2\varphi_2(x)+\dots+w_m\varphi_m(x)=\sum_{i}^{m}w_{i}\varphi_{i}(x)f(x)=w1​φ2​(x)+w2​φ2​(x)+⋯+wm​φm​(x)=i∑m​wi​φi​(x)

上記の線形回帰のモデルの式からわかるように 1 次元のxxxに対してNNN個の特徴ベクトルで考えるとき、それに対応する基底関数の数もNNN個必要になります。

このとき、xxxの次元が 2 次元の場合は基底関数はN2N^2N2個必要になり、3 次元の場合はN3N^3N3個必要になります。

このようにxxxの次元が大きくなると必要な基底関数は指数関数的に増大します。

つまり、線形回帰のモデルはxxxの次元が低いときにのみ有効なのです。

それに対して、ガウス過程ではカーネルという手法を用いることによって、予測したい確率分布に(出力)にはパラメータwwwが消えてなくなります。

ガウス過程回帰の式は以下の式でした。

p(y∗∣x∗,X,Y)=N(k∗TK−1Y,k∗,∗−k∗TK−1k∗)p(y^{\ast}|\mathbf{x}^{\ast},X,Y)=\mathcal{N}(\mathbf{k}^T_{\ast}\mathbf{K}^{-1}\mathbf{Y},\mathbf{k}_{\ast,\ast}-\mathbf{k}^T_{\ast}\mathbf{K}^{-1}\mathbf{k}_{\ast})p(y∗∣x∗,X,Y)=N(k∗T​K−1Y,k∗,∗​−k∗T​K−1k∗​)

k∗\mathbf{k}_{\ast}k∗​はXXXとx∗\mathbf{x}^{\ast}x∗のカーネル、K\mathbf{K}KはXXXとXXXのカーネル、K∗,∗\mathbf{K}_{\ast,\ast}K∗,∗​はx∗\mathbf{x}^{\ast}x∗とx∗\mathbf{x}^{\ast}x∗のカーネルです.

つまり、ガウス過程においてはxxxやϕ(x)\phi(\mathbf{x})ϕ(x)の次元をどれだけ大きくしようとも、予測される分布(多変量ガウス分布)はその影響を受けません。

こういったことからガウス過程は無限次元のガウス分布と呼ばれるのです。

したがって、ガウス過程では特徴ベクトルを使った表記だと無限個の特徴ベクトルが必要になるものを、カーネル関数一つで表わすことができるという特徴があります。

入力xxxが似ていれば出力yyyも似ている

ガウス過程では、カーネル関数を利用することで線形回帰モデルの高次元の問題を解決して予測分布における平均と分散を算出しています。

カーネル関数はk(x,x′)=φ(x)Tφ(x′)k(x,x^{\prime})=\boldsymbol \varphi(x)^T\boldsymbol \varphi(x^{\prime})k(x,x′)=φ(x)Tφ(x′)で表せられて、特徴ベクトルの内積になっています。

つまり、2 つの入力x,x′x,x^{\prime}x,x′間での2つの出力y,y′y, y^{\prime}y,y′の類似度を計算することで、ガウス過程回帰の共分散行列を求めています。

こういったことからガウス過程には、入力xxxが似ていれば出力yyyも似ているという特徴があります。

計算オーダーが大きい

グラム行列の計算がO(N2)O(N^2)O(N2)のオーダーであったり、逆行列は要素数nnnに対してO(N)3O(N)^3O(N)3の計算量を持っています。こういったことからガウス過程の手法では計算量が多いというデメリットがあります。

そのため計算オーダーを小さくする方法は色々研究されています。

様々なガウス過程

ガウス過程の一種として次のものが一般的に知られています。

  • ウィーナー過程
  • オルンシュタイン=ウーレンベック過程
  • 深層学習

終わりに

ここまで読んでくださってありがとうございました。

編集リクエストもお待ちしています。

Profile

kunst

データサイエンティスト兼フロントエンジニアのkunstです!
最近は山登りにハマっています。

目次

kunst Site

Welcome to kunst Site. Stay updated with the latest posts.

Privacy PolicyAbout Blog|BlogAbout SitePortfolioContact

Copyright © 2024 kunst Site