単回帰分析を平均・分散・共分散・相関係数から計算する式

統計

以下の式でフィットさせ、最小二乗法で \displaystyle a, c を求めます。

 \displaystyle
z = ax+c

実際の \displaystyle Z の値と上の式で計算した \displaystyle z との差分の二乗 \displaystyle \varepsilon を以下で表します。

 \displaystyle
\begin{align}
\varepsilon(a, c) &= \sum_{i=1}^n (Z_i-z_i)^2 \\
 &= \sum_{i=1}^n (Z_i-(aX_i+c))^2 \\
&= \sum_{i=1}^n (Z_i-aX_i-c)^2 \\
\end{align}

\displaystyle \varepsilon を \displaystyle a, c で偏微分すると0になる \displaystyle a, c が \displaystyle \varepsilon の最小値となりますので、偏微分します。

 \displaystyle
\begin{align}
\frac{\partial}{\partial a} \varepsilon(a, c) &= \frac{\partial}{\partial a} \sum_{i=1}^n(Z_i-aX_i-c)^2 \\
&= -2 \sum_{i=1}^n X_i(Z_i-aX_i-c) \\
&= -2 \left( \sum_{i=1}^n X_iZ_i - a \sum_{i=1}^n X_i^2 - c \sum_{i=1}^n X_i \right) \\
&= -2n \left( \frac{1}{n} \sum_{i=1}^n X_iZ_i - \frac{a}{n} \sum_{i=1}^n X_i^2 - \frac{c}{n} \sum_{i=1}^n X_i \right) \\
&= -2n \left( E[XZ] - aE[X^2] - cE[X] \right) \\
\\
\frac{\partial}{\partial c} \varepsilon(a, c) &= \frac{\partial}{\partial c} \sum_{i=1}^n(Z_i-aX_i-c)^2 \\
&= -2 \sum_{i=1}^n(Z_i-aX_i-c) \\
&= -2 \left( \sum_{i=1}^n Z_i - a \sum_{i=1}^n X_i - cn \right) \\
&= -2n \left( \frac{1}{n} \sum_{i=1}^nZ_i - \frac{a}{n} \sum_{i=1}^n X_i - c \right) \\
&= -2n \left( E[Z] - aE[X] - c \right) \\
\end{align}

偏微分が0となる \displaystyle a, c を求める連立方程式

 \displaystyle
\begin{align}
\frac{\partial}{\partial a} \varepsilon(a, c) &= 0 \\
\frac{\partial}{\partial c} \varepsilon(a, c) &= 0 \\
\end{align}

に先程の計算結果を利用すると、

 \displaystyle
\begin{align}
E[XZ] - aE[X^2] - cE[X] &= 0 \\
E[Z] - aE[X] - c &= 0 \\
\end{align}

となります。2つ目の式を変形して \displaystyle c の式にし、1つ目の式に代入します。

 \displaystyle
\begin{align}
c &= E[Z] - aE[X] \\
\end{align}

 \displaystyle
\begin{align}
0 &= E[XZ] - aE[X^2] - (E[Z] - aE[X])E[X] \\
0 &= E[XZ] - aE[X^2] - E[X]E[Z] + aE[X]^2 \\
0 &= E[XZ] - E[X]E[Z] - a(E[X^2] - E[X]^2) \\
\end{align}

 \displaystyle
\begin{align}
a &= \frac{E[XZ] - E[X]E[Z]}{E[X^2] - E[X]^2} \\
&= \frac{Cov[X, Z]}{V[X]} \\
&= R[X, Z]\frac{\sqrt{V[Z]}}{\sqrt{V[X]}} \\
\end{align}

これを \displaystyle c の式に代入します。

 \displaystyle
\begin{align}
c &= E[Z] - aE[X] \\
&= E[Z] - R[X, Z]\frac{\sqrt{V[Z]}}{\sqrt{V[X]}}E[X] \\
\end{align}

まとめ

 \displaystyle
z = ax+c

でフィットさせるとすると、 \displaystyle a, c は以下で計算できます。

 \displaystyle
\begin{align}
a &= \frac{Cov[X, Z]}{V[X]} \\
&= R[X, Z]\frac{\sqrt{V[Z]}}{\sqrt{V[X]}} \\
c &= E[Z] - aE[X] \\
\end{align}

リンク

以下のヨビノリさんのYouTube動画はわかりやすいです。

私の関連記事