「統計的学習の基礎」の基礎

慶應ロ技研 Advent Calendar 2018 その1 10日目

こんにちは、研究室配属で失敗がありました、mt_caretです。

さて、前回のアドベントカレンダーではロボットに大変関係があるということで Haskellについて書きました。今年は同様にロボットに大変関係があるトピックということで統計的学習についての駄文です。

まずは、統計的学習とは何かについて考えると、何らかの変数Yとそれらに何らかの関係を持った変数X = (X1, X2, ⋯, Xp)を考えた時、次のようなモデルを考えてみます。

Y = f(X) + ε

fはなんらかの関数であり、εXと独立かつ期待値0の誤差項とします。1 適当なXを与えられた時のYを推定したいとすると、fを上手く近似したさえあれば推定値 = (X)が得られる、ということになります。

ここで、推定値は真値Yにどれだけ近づけることができるか検討してみるために、一旦Xを固定して、最小二乗誤差のあらゆるデータセット𝒯に関する期待値E[(Y − )2]を計算して見ましょう。

つまり、最小二乗誤差の期待値はfの期待値の差の二乗からなるバイアス項、 のヴァリアンス項、そしてεの分散の3つの項に分解することができました。この前者2つの項が所謂Bias-Variance Tradeoffに出てくるものに相当するわけです。

この導出が手元の本2だと「自明」としてカバーされておらず、しばらく導出できなくて云々唸ってようやくできたので記事のネタにしようと思い検索したところ、ウィキペディアに載っていました

ということで、ウィキペディアはちゃんと確認しよう!

追記: WordPress.comでMarkdown+LaTeXで数式を書こうとしたら地獄を見た。もう絶対使いたくない。


  1. 交絡等によりXεが成り立たない場合は、このモデルは上手く成立しなくなります。
    • An Introduction to Statistical Learning
    • The Elements of Statistical Learning

広告

「統計的学習の基礎」の基礎” への2件のフィードバック

コメントを残す

以下に詳細を記入するか、アイコンをクリックしてログインしてください。

WordPress.com ロゴ

WordPress.com アカウントを使ってコメントしています。 ログアウト /  変更 )

Google+ フォト

Google+ アカウントを使ってコメントしています。 ログアウト /  変更 )

Twitter 画像

Twitter アカウントを使ってコメントしています。 ログアウト /  変更 )

Facebook の写真

Facebook アカウントを使ってコメントしています。 ログアウト /  変更 )

%s と連携中