重回帰分析(2値)を平均・分散・共分散・相関係数から計算する式

統計

単回帰分析を平均・分散・共分散・相関係数から計算する式の記事と同じ流れで計算します。

以下の式でフィットさせ、最小二乗法で \displaystyle a, b, c を求めます。

 \displaystyle
z = ax+by+c

実際の \displaystyle Z の値と上の式で計算した \displaystyle z との差分の二乗 \displaystyle \varepsilon を以下で表します。

 \displaystyle
\begin{align}
\varepsilon(a, b, c) &= \sum_{i=1}^n (Z_i-z_i)^2 \\
 &= \sum_{i=1}^n (Z_i-(aX_i+bY_i+c))^2 \\
&= \sum_{i=1}^n (Z_i-aX_i-bY_i-c)^2 \\
\end{align}

\displaystyle \varepsilon を \displaystyle a, b, c で偏微分すると0になる \displaystyle a, b, c が \displaystyle \varepsilon の最小値となりますので、偏微分します。

 \displaystyle
\begin{align}
\frac{\partial}{\partial a} \varepsilon(a, b, c) &= \frac{\partial}{\partial a} \sum_{i=1}^n(Z_i-aX_i-bY_i-c)^2 \\
&= -2 \sum_{i=1}^n X_i(Z_i-aX_i-bY_i-c) \\
&= -2 \left( \sum_{i=1}^n X_iZ_i - a \sum_{i=1}^n X_i^2 - b \sum_{i=1}^n X_iY_i - c \sum_{i=1}^n X_i \right) \\
&= -2n \left( E[XZ] - aE[X^2] - bE[XY] - cE[X] \right) \\

\frac{\partial}{\partial b} \varepsilon(a, b, c) &= \frac{\partial}{\partial b} \sum_{i=1}^n(Z_i-aX_i-bY_i-c)^2 \\
&= -2 \sum_{i=1}^n Y_i(Z_i-aX_i-bY_i-c) \\
&= -2 \left( \sum_{i=1}^n Y_iZ_i - a \sum_{i=1}^n X_iY_i - b \sum_{i=1}^n Y_i^2 - c \sum_{i=1}^n Y_i \right) \\
&= -2n \left( E[YZ] - aE[XY] - bE[Y^2] - cE[Y] \right) \\

\frac{\partial}{\partial c} \varepsilon(a, b, c) &= \frac{\partial}{\partial c} \sum_{i=1}^n(Z_i-aX_i-bY_i-c)^2 \\
&= -2 \sum_{i=1}^n(Z_i-aX_i-bY_i-c) \\
&= -2 \left( \sum_{i=1}^n Z_i - a \sum_{i=1}^n X_i - b \sum_{i=1}^n Y_i - cn \right) \\
&= -2n \left( E[Z] - aE[X] - bE[Y] - c \right) \\
\end{align}

偏微分が0となる \displaystyle a, b, c を求める連立方程式は

 \displaystyle
\begin{align}
E[XZ] - aE[X^2] - bE[XY] - cE[X] &= 0 \\
E[YZ] - aE[XY] - bE[Y^2] - cE[Y] &= 0 \\
E[Z] - aE[X] - bE[Y] - c &= 0 \\
\end{align}

となります。 \displaystyle c を消去するために、2つ目の式を変形して \displaystyle c の式にし、1つ目、2つ目の式に代入します。

 \displaystyle
\begin{align}
c &= E[Z] - aE[X] - bE[Y] \\
\end{align}

 \displaystyle
\begin{align}
E[XZ] - aE[X^2] - bE[XY] - (E[Z] - aE[X] - bE[Y])E[X] &= 0 \\
E[YZ] - aE[XY] - bE[Y^2] - (E[Z] - aE[X] - bE[Y])E[Y] &= 0 \\
\\
E[XZ] - aE[X^2] - bE[XY] - E[X]E[Z] - aE[X]^2 - bE[X]E[Y] &= 0 \\
E[YZ] - aE[XY] - bE[Y^2] - E[Y]E[Z] - aE[X]E[Y] - bE[Y]^2 &= 0 \\
\\
Cov[X, Z] - aV[X] - bCov[X, Y] &= 0 \\
Cov[Y, Z] - aCov[X, Y] - bV[Y] &= 0 \\
\end{align}

\displaystyle b を消去するために、2つ目の式を以下のように変形し、これを利用して1つ目の式を変形していきます。

 \displaystyle
bV[Y] = Cov[Y, Z] - aCov[X, Y] \\

 \displaystyle
\begin{align}
0 &= Cov[X, Z] - aV[X] - bCov[X, Y] \\
0 &= Cov[X, Z]V[Y] - aV[X]V[Y] - bV[Y]Cov[X, Y] \\
0 &= Cov[X, Z]V[Y] - aV[X]V[Y] - (Cov[Y, Z] - aCov[X, Y])Cov[X, Y] \\
0 &= Cov[X, Z]V[Y] - aV[X]V[Y] - Cov[X, Y]Cov[Y, Z] + aCov[X, Y]^2 \\
0 &= Cov[X, Z]V[Y] - Cov[X, Y]Cov[Y, Z] - a(V[X]V[Y] - Cov[X, Y]^2) \\
\end{align}

 \displaystyle
\begin{align}
a &= \frac{Cov[X, Z]V[Y] - Cov[X, Y]Cov[Y, Z]}{V[X]V[Y] - Cov[X, Y]^2} \\
\\
\text{分子} &= Cov[X, Z]V[Y] - Cov[X, Y]Cov[Y, Z] \\
&= R[X, Z]\sqrt{V[X]}\sqrt{V[Z]}V[Y] - R[X, Y]\sqrt{V[X]}\sqrt{V[Y]}R[Y, Z]\sqrt{V[Y]}\sqrt{V[Z]} \\
&= (R[X, Z] - R[X, Y]R[Y, Z])\sqrt{V[X]}\sqrt{V[Z]}V[Y] \\
\text{分母} &= V[X]V[Y] + Cov[X, Y]^2 \\
&= V[X]V[Y] - (R[X, Y]\sqrt{V[X]}\sqrt{V[Y]})^2 \\
&= V[X]V[Y] - R[X, Y]^2V[X]V[Y] \\
&= (1 - R[X, Y]^2)V[X]V[Y] \\
\\
a &= \frac{R[X, Z] - R[X, Y]R[Y, Z]}{1 - R[X, Y]^2}\frac{\sqrt{V[Z]}}{\sqrt{V[X]}} \\
\end{align}

次はさきほどの \displaystyle b の式を使って \displaystyle b を求めます。

 \displaystyle
\begin{align}
bV[Y] &= Cov[Y, Z] - aCov[X, Y] \\
\\
b &= \frac{Cov[Y, Z] - aCov[X, Y]}{V[Y]} \\
&= \frac{R[Y, Z]\sqrt{V[Y]}\sqrt{V[Z]} - a R[X, Y]\sqrt{V[X]}\sqrt{V[Y]}}{V[Y]} \\
&= \frac{R[Y, Z]\sqrt{V[Z]} - a R[X, Y]\sqrt{V[X]}}{\sqrt{V[Y]}} \\
&= \frac{R[Y, Z]\sqrt{V[Z]} - \frac{R[X, Z] - R[X, Y]R[Y, Z]}{1 - R[X, Y]^2}\frac{\sqrt{V[Z]}}{\sqrt{V[X]}} R[X, Y]\sqrt{V[X]}}{\sqrt{V[Y]}} \\
&= \left( R[Y, Z] - \frac{R[X, Z] - R[X, Y]R[Y, Z]}{1 - R[X, Y]^2} R[X, Y] \right) \frac{\sqrt{V[Z]}}{\sqrt{V[Y]}} \\
&= \left( R[Y, Z] - \frac{R[X, Y]R[X, Z] - R[X, Y]^2R[Y, Z]}{1 - R[X, Y]^2} \right) \frac{\sqrt{V[Z]}}{\sqrt{V[Y]}} \\
&= \frac{R[Y, Z] - R[Y, Z]R[X, Y]^2 - R[X, Y]R[X, Z] + R[X, Y]^2R[Y, Z]}{1 - R[X, Y]^2} \frac{\sqrt{V[Z]}}{\sqrt{V[Y]}} \\
&= \frac{R[Y, Z] - R[X, Y]R[X, Z]}{1 - R[X, Y]^2} \frac{\sqrt{V[Z]}}{\sqrt{V[Y]}} \\
\end{align}

\displaystyle a と \displaystyle b とで別の求め方をしましたが、同じ形になることが確認できました。

\displaystyle c は以下で計算できます。

 \displaystyle
\begin{align}
c &= E[Z] - aE[X] - bE[Y] \\
\end{align}

まとめ

 \displaystyle
z = ax+by+c

でフィットさせると、 \displaystyle a, b, c は以下で計算できます。

 \displaystyle
\begin{align}
a &= \frac{Cov[X, Z]V[Y] - Cov[X, Y]Cov[Y, Z]}{V[X]V[Y] - Cov[X, Y]^2} \\
&= \frac{R[X, Z] - R[X, Y]R[Y, Z]}{1 - R[X, Y]^2}\frac{\sqrt{V[Z]}}{\sqrt{V[X]}} \\
\\
b &= \frac{Cov[Y, Z]V[X] - Cov[X, Y]Cov[X, Z]}{V[X]V[Y] - Cov[X, Y]^2} \\
&= \frac{R[Y, Z] - R[X, Y]R[X, Z]}{1 - R[X, Y]^2} \frac{\sqrt{V[Z]}}{\sqrt{V[Y]}} \\
\\
c &= E[Z] - aE[X] - bE[Y] \\
\end{align}

リンク

私の関連記事