平均が正規分布に従う正規分布の周辺分布を求める

平均$\theta$・分散${\tau }^2$の正規分布に従う確率変数$Y$があり，かつ$\theta$が平均$\mu$・分散${\sigma }^2$の正規分布に従うとします．

$$\begin{array}{rl}Y\mid \theta \sim \mathcal{N}(\theta ,{\tau }^2)& ⟺p(y\mid \theta )=\frac{1}{\sqrt{2\pi }\tau }\exp \left[-\frac{1}{2}{\left(\frac{y-\theta }{\tau }\right)}^2\right]\\ \theta \sim \mathcal{N}(\mu ,{\sigma }^2)& ⟺p(\theta )=\frac{1}{\sqrt{2\pi }\sigma }\exp \left[-\frac{1}{2}{\left(\frac{\theta -\mu }{\sigma }\right)}^2\right]\end{array}$$

このとき，$Y$の周辺分布は，平均$\mu$・分散${\sigma }^2+{\tau }^2$の正規分布に従うことが知られています． この記事では，この性質を導出する過程を備忘録として記載します（実際にはもっとスマートな導出方法があるかもしれません）．

$$Y\sim \mathcal{N}(\mu ,{\sigma }^2+{\tau }^2)$$

$Y$の周辺確率密度関数$p(y)$は以下のような積分で求められます．平方完成を用いることで，積分の対象となる$p(y\mid \theta )p(\theta )$を以下のように変形できます．

$$\begin{array}{rl}p(y)& ={\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}p(y,\theta )d\theta \\ & ={\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}p(y\mid \theta )p(\theta )d\theta \end{array}$$

$$\begin{array}{rl}p(y\mid \theta )p(\theta )& =\frac{1}{2\pi \tau \sigma }\exp [-\frac{1}{2}\frac{{\sigma }^2{(y-\theta )}^2+{\tau }^2{(\theta -\mu )}^2}{{\tau }^2{\sigma }^2}]\\ & =\frac{1}{2\pi \tau \sigma }\exp [-\frac{1}{2}\frac{({\sigma }^2+{\tau }^2){\theta }^2-2({\sigma }^{2}y+{\tau }^2\mu )\theta +({\sigma }^2{y}^2+{\tau }^2{\mu }^2)}{{\tau }^2{\sigma }^2}]\\ & =\frac{1}{2\pi \tau \sigma }\exp [-\frac{1}{2}{(\frac{\sqrt{{\sigma }^2+{\tau }^2}}{\tau \sigma }\theta -\frac{{\sigma }^{2}y+{\tau }^2\mu }{\tau \sigma \sqrt{{\sigma }^2+{\tau }^2}})}^2-\frac{1}{2}\frac{{(y-\mu )}^2}{{\sigma }^2+{\tau }^2}](\because \theta \mathrm{に}\mathrm{対}\mathrm{す}\mathrm{る}\mathrm{平}\mathrm{方}\mathrm{完}\mathrm{成})\\ & =\frac{1}{2\pi \tau \sigma }\exp [-\frac{1}{2}{\left(\frac{y-\mu }{\sqrt{{\sigma }^2+{\tau }^2}}\right)}^2]\exp [-\frac{1}{2}{\left(\frac{\theta -\frac{{\sigma }^{2}y+{\tau }^2\mu }{{\sigma }^2+{\tau }^2}}{\frac{\tau \sigma }{\sqrt{{\sigma }^2+{\tau }^2}}}\right)}^2]\end{array}$$

$p(y\mid \theta )p(\theta )$を積分すると，$\theta$に関する正規分布のカーネルの積分が現れます．そのため，積分を正規化係数の逆数で置き換えることができます．最終的に，$Y$の周辺確率密度関数$p(y)$が，平均$\mu$・分散${\sigma }^2+{\tau }^2$の正規分布に従っていることが導出されます．

$$\begin{array}{rl}p(y)& ={\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}p(y\mid \theta )p(\theta )d\theta \\ & =\frac{1}{2\pi \tau \sigma }\exp [-\frac{1}{2}{\left(\frac{y-\mu }{\sqrt{{\sigma }^2+{\tau }^2}}\right)}^2]{\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}\exp [-\frac{1}{2}{\left(\frac{\theta -\frac{{\sigma }^{2}y+{\tau }^2\mu }{{\sigma }^2+{\tau }^2}}{\frac{\tau \sigma }{\sqrt{{\sigma }^2+{\tau }^2}}}\right)}^2]d\theta \\ & =\frac{1}{2\pi \tau \sigma }\exp [-\frac{1}{2}{\left(\frac{y-\mu }{\sqrt{{\sigma }^2+{\tau }^2}}\right)}^2]\sqrt{2\pi }\frac{\tau \sigma }{\sqrt{{\sigma }^2+{\tau }^2}}(\because \mathrm{分}\mathrm{散}\frac{{\tau }^2{\sigma }^2}{{\sigma }^2+{\tau }^2}\mathrm{の}\mathrm{正}\mathrm{規}\mathrm{分}\mathrm{布}\mathrm{の}\mathrm{カ}\mathrm{ー}\mathrm{ネ}\mathrm{ル}\mathrm{の}\mathrm{積}\mathrm{分})\\ & =\frac{1}{\sqrt{2\pi }\sqrt{{\sigma }^2+{\tau }^2}}\exp [-\frac{1}{2}{\left(\frac{y-\mu }{\sqrt{{\sigma }^2+{\tau }^2}}\right)}^2]⟺Y\sim \mathcal{N}(\mu ,{\sigma }^2+{\tau }^2)\end{array}$$