1.2.3　ベイズ確率（＋BPSKのビット判定） - 底辺大学の院生がプログラミングや機械学習を勉強するブログ

最尤推定の説明がこのページだけだと分かりづらいから、実際に推定問題を解いてみて理解してみる。
個人的には信号のビット判定問題が直感的に分かりやすいと思う。（デジタル通信についての知識が必要だけど）

問題

f:id:telltales:20160701005528p:plain

BPSKの信号点は、実軸上に2つ現れる形式が一般的。上の例だと、+1と-1のところ。

位相偏移変調 - Wikipedia

このどちらかを送信すると、受信機は伝搬空間中の雑音の影響で、若干元の信号とは違った点にある信号が受信される。

f:id:telltales:20160701005532p:plain

受信機は元の信号から若干ずれて届いた受信信号を見て、この信号はもともとは+1と-1どちらの信号だったのかを判定する必要がある。
上の例だと近いのは+1だけど、もしかしたら強い雑音のせいで-1の方から飛んできた信号なのかもしれない。

さてどのような判定が最適か？

大体の人がこう考える。

f:id:telltales:20160701004737p:plain

虚軸を境界として判定する。
つまり虚部を無視して、受信信号の実部が正であれば+1、負であれば-1と判定する。要は近い方と判定しましょうという考え方。

結果的に見ると確かにこの考え方は正しい。でも、なんでそういうことが言えるの？となると、なんとなく……としか答えられないことが多い。
今日はこの判定問題についてちゃんと考えてみる。

最尤推定

BPSKは実部だけ考えれば良いので、信号はすべて実数で考える。また雑音は加法性のガウス雑音を仮定する。

受信信号 $y$ を次の式でモデル化。

$y=x+n$

$x$ ：+1か-1のどちらかの値を取る送信信号
$n$ ：平均 $0$ 分散 $\sigma^2$ のガウス分布に従う確率変数

最適な判定規範は $y$ を観測した時の $x$ の事後確率を最大にする $x$ を採用することだから、ベイズの定理を用いると

$\newcommand{\argmax}{\mathop{\rm arg~max}\limits} \begin{eqnarray} \hat{x} &=& \argmax_{x\in\{+1,-1\}}p(x|y) \\ &=& \argmax_{x\in\{+1,-1\}}\frac{p(y|x)p(x)}{p(y)} \\ &=& \argmax_{x\in\{+1,-1\}}p(y|x)p(x) \end{eqnarray}$

ここでもし事前分布 $p(x)$ に関する情報、すなわち $x$ の生起確率についての知識がなければ、それぞれ50%の確率で現れると仮定する。
すると $p(x)$ は定数となるので $x$ の判定に関与せず、最終的に

$\newcommand{\argmax}{\mathop{\rm arg~max}\limits} \hat{x} = \argmax_{x\in\{+1,-1\}}p(y|x)$

となる。
$p(x|y)$ を最大にする $x$ を推定値とする手法は最大事後確率推定（MAP推定）である。
一方で、今現れた $p(y|x)$ を最大にする方は最尤推定（ML推定）と呼ばれている。

よって、最大事後確率推定と最尤推定の違いは、事前分布 $p(x)$ が推定に関与するかしないかのみである。

さて、じゃあ $p(y|x)$ はどのように書けるのか。
今 $x$ が与えられているので定数と考える。また、 $n$ は確率変数なので、 $x$ と $n$ の和である $y$ もまた確率変数となる。ここで $n$ は平均 $0$ 分散 $\sigma^2$ のガウス分布で与えられているので、 $p(y|x)$ は平均 $x$ 分散 $\sigma^2$ のガウス分布になる。

よって、
$\newcommand{\argmax}{\mathop{\rm arg~max}\limits} \newcommand{\argmin}{\mathop{\rm arg~min}\limits} \begin{eqnarray} \hat{x} &=& \argmax_{x\in\{+1,-1\}}p(y|x) \\ &=& \argmax_{x\in\{+1,-1\}}\frac{1}{\sqrt{2\pi\sigma^2}}\exp\left(-\frac{(y-x)^2}{2\sigma^2}\right) \\ &=& \argmin_{x\in\{+1,-1\}}(y-x)^2 \\ &=& \argmin_{x\in\{+1,-1\}}\{y^2-2xy+x^2\} \\ \end{eqnarray}$