1.1 例:多項式曲線フィッティング
1行目「まず最初に単純な回帰問題から始めよう.」
……。
回帰問題ってなんやねん!!!!
回帰分析
回帰(かいき、英: regression)とは、統計学において、Y が連続値の時にデータに Y = f(X) というモデル(「定量的な関係の構造[1]」)を当てはめる事。別の言い方では、連続尺度の従属変数(目的変数)Y と独立変数(説明変数)X の間にモデルを当てはめること。X が1次元ならば単回帰、X が2次元以上ならば重回帰と言う。Y が離散の場合は分類と言う。
回帰分析(かいきぶんせき、英: regression analysis)とは、回帰により分析する事。
回帰で使われる、最も基本的なモデルは Y = AX + B という形式の線形回帰である。
つまり、入力値と、ある関数にしたがって生成されたデータの組み合わせをたくさん観測したとき、それぞれのベクトル、を使っての方を推定しようということらしい。
んで、さえ分かってしまえばわざわざ観測しなくても、新しいに対する観測が予測できるよね、という話か。
ただしここでは観測値にはガウス分布に従うランダムノイズが加算されていることに注意する。こういう雑音がガウス分布でモデル化されることはよくある話。無線通信とかではノイズは複素ガウスの標本としてモデル化されていた。一般に、ホワイトノイズとか呼ばれているあれ。
だから必ずしもとはならず、ノイズをとすると観測値はで与えられている。
さて、ここでやっと出てくる題目の「曲線フィッティング」とは、を
という次多項式で当てはめようというアプローチのこと。
実際の関数がでもでも、こういう形式なら線形非線型に限らずそれなりに当てはめられそう。
だからやることは、観測されたを使ってなんとかして多項式の係数ベクトルを求めること。そのための方法として、誤差関数を最小化しようという考え方がある。
つまり、
これが最小になるを採用しようというもの。
まあ、予測値と実際に得られた観測値の誤差が一番小さくなるようなモデルを採用しようという考え方は直感的には理解できる。ただ、本当にそれが最適な推定規範なの?という疑問を持つことは、ついつい疎かにしがちだけど、とても大切。
後半に、確かにこの規範は最適であることが述べられるが、直感的に正しいと思われる解釈に流されて思考を止めることが無いよう注意したいところ。
さてここまでくれば話は簡単。
は下に凸の二次関数だから、最小になるを見つけたければについての1階微分が0になる点を求めればいい。
というところで眠くなってきた。明日はこれの続きやる。
実際にプログラムを書いてちゃんと関数が推定できていることを確認するぐらいまでやりたいなー。