重回帰分析(多値)を分散・共分散から計算する式

重回帰分析(2値)を平均・分散・共分散・相関係数から計算する式の記事で計算した独立変数が2つの重回帰分析を、独立変数  \displaystyle
 m 個の重回帰分析に一般化します。

独立変数が2つの重回帰分析での  \displaystyle
 x, y  \displaystyle
 x_1, x_2, \cdots, x_m に、  \displaystyle
 a, b  \displaystyle
 a_1, a_2, \cdots, a_m に置き換えます。

この記事では  \displaystyle
 x_1, x_2, \cdots, x_m をまとめて  \displaystyle
 \boldsymbol{x}  \displaystyle
 a_1, a_2, \cdots, a_m をまとめて  \displaystyle
 \boldsymbol{a} とも書くことにします。

以下の式でフィットさせ、最小二乗法で  \displaystyle
 a, b, c を求めます。

 \displaystyle
\begin{align}
z &= \boldsymbol{a} \boldsymbol{x} + c \\
&= \sum_{j=1}^m a_jx_j+c
\end{align}

実際の  \displaystyle
 Z の値と上の式で計算した  \displaystyle
 z との差分の二乗  \displaystyle
 \varepsilon を以下で表します。

 \displaystyle
\begin{align}
\varepsilon(\boldsymbol{a}, c) &= \sum_{i=1}^n (Z_i-z_i)^2 \\
&= \sum_{i=1}^n (Z_i-(\sum_{j=1}^m a_jX_{ij}+c))^2 \\
&= \sum_{i=1}^n (Z_i-\sum_{j=1}^m a_jX_{ij}-c)^2 \\
\end{align}

ここで  \displaystyle
 E[X_{\bullet k} ] という記法を以下の定義とします。

 \displaystyle
E[X_{\bullet k}] = \frac{1}{n} \sum_{i=1}^n X_{ik}

 \displaystyle
 E[X_{\bullet 1} ] は2値の議論での  \displaystyle
 E[X ] に相当し、 \displaystyle
 E[X_{\bullet 2} ] は2値の議論での  \displaystyle
 E[Y ] に相当します。この記法をこのあとで使うことにします・

 \displaystyle
 \varepsilon  \displaystyle
 \boldsymbol{a}, c 偏微分すると0になる  \displaystyle
 \boldsymbol{a}, c  \displaystyle
 \varepsilon の最小値となりますので、偏微分します。

まずは先に  \displaystyle
 c での偏微分です。

 \displaystyle
\begin{align}
\frac{\partial}{\partial c} \varepsilon(\boldsymbol{a}, c) &= \frac{\partial}{\partial c} \sum_{i=1}^n(Z_i-\sum_{j=1}^m a_jX_{ij}-c)^2 \\
&= -2 \sum_{i=1}^n(Z_i-\sum_{j=1}^m a_jX_{ij}-c) \\
&= -2 \left( \sum_{i=1}^n Z_i - \sum_{i=1}^n \sum_{j=1}^m a_jX_{ij} - \sum_{i=1}^n c \right) \\
&= -2 \left( \sum_{i=1}^n Z_i - \sum_{j=1}^m a_j \sum_{i=1}^n X_{ij} - \sum_{i=1}^n c \right) \\
&= -2n \left( E[Z] - \sum_{j=1}^m a_j E[X_{\bullet j}] - c \right) \\
\end{align}

 \displaystyle
 \varepsilon が最小値となる  \displaystyle
 \boldsymbol{a}, c を求めたいので、これが0になる式を計算します。

 \displaystyle
\begin{align}
E[Z] - \sum_{j=1}^m a_j E[X_{\bullet j}] - c &= 0 \\
\end{align}
 \displaystyle
\begin{align}
c &= E[Z] - \sum_{j=1}^m a_j E[X_{\bullet j}] \\
\end{align}

次に  \displaystyle
 \boldsymbol{a} での偏微分です。 \displaystyle
 \boldsymbol{a} での偏微分というのは  \displaystyle
 \boldsymbol{a} の各要素  \displaystyle
 a_k での偏微分です。

 \displaystyle
\begin{align}
\frac{\partial}{\partial a_k} \varepsilon(\boldsymbol{a}, c) &= \frac{\partial}{\partial a_k} \sum_{i=1}^n(Z_i-\sum_{j=1}^m a_jX_{ij}-c)^2 \\
&= -2 \sum_{i=1}^n X_{ik}(Z_i-\sum_{j=1}^m a_jX_{ij}-c) \\
&= -2 \left( \sum_{i=1}^n X_{ik} Z_i - \sum_{i=1}^n X_{ik} \sum_{j=1}^m a_jX_{ij} - \sum_{i=1}^n X_{ik} c \right) \\
&= -2 \left( \sum_{i=1}^n X_{ik} Z_i - \sum_{j=1}^m a_j \sum_{i=1}^n X_{ik} X_{ij} - \sum_{i=1}^n X_{ik} c \right) \\
&= -2n \left( E[X_{\bullet k} Z] - \sum_{j=1}^m a_j E[X_{\bullet k} X_{\bullet j}] - cE[X_{\bullet k}] \right) \\
\end{align}

 \displaystyle
 \varepsilon が最小値となる  \displaystyle
 \boldsymbol{a}, c を求めたいので、これが0になる式を計算します。

 \displaystyle
\begin{align}
E[X_{\bullet k} Z] - \sum_{j=1}^m a_j E[X_{\bullet k} X_{\bullet j}] - cE[X_{\bullet k}] &= 0 \\
\end{align}
 \displaystyle
\begin{align}
0 &= E[X_{\bullet k} Z] - \sum_{j=1}^m a_j E[X_{\bullet k} X_{\bullet j}] - cE[X_{\bullet k}] \\
&= E[X_{\bullet k} Z] - \sum_{j=1}^m a_j E[X_{\bullet k} X_{\bullet j}] - \left( E[Z] - \sum_{j=1}^m a_j E[X_{\bullet j}] \right) E[X_{\bullet k}] \\
&= E[X_{\bullet k} Z] - \sum_{j=1}^m a_j E[X_{\bullet k} X_{\bullet j}] - \left( E[X_{\bullet k}]E[Z] - \sum_{j=1}^m a_j E[X_{\bullet k}]E[X_{\bullet j}] \right) \\
&= E[X_{\bullet k} Z] - \sum_{j=1}^m a_j E[X_{\bullet k} X_{\bullet j}] - E[X_{\bullet k}]E[Z] + \sum_{j=1}^m a_j E[X_{\bullet k}]E[X_{\bullet j}] \\
&= E[X_{\bullet k} Z] - E[X_{\bullet k}]E[Z] - \sum_{j=1}^m a_j E[X_{\bullet k} X_{\bullet j}] + \sum_{j=1}^m a_j E[X_{\bullet k}]E[X_{\bullet j}] \\
&= E[X_{\bullet k} Z] - E[X_{\bullet k}]E[Z] - \left( \sum_{j=1}^m a_j E[X_{\bullet k} X_{\bullet j}] - \sum_{j=1}^m a_j E[X_{\bullet k}]E[X_{\bullet j}] \right) \\
&= E[X_{\bullet k} Z] - E[X_{\bullet k}]E[Z] - \sum_{j=1}^m a_j (E[X_{\bullet k} X_{\bullet j}] - E[X_{\bullet k}]E[X_{\bullet j}]) \\
&= Cov[X_{\bullet k}, Z] - \sum_{j=1}^m a_j Cov[X_{\bullet k}, X_{\bullet j}] \\
\end{align}
 \displaystyle
Cov[X_{\bullet k}, Z] = \sum_{j=1}^m a_j Cov[X_{\bullet k}, X_{\bullet j}]

この式は行列を使って次のようにも表現できます。まったく同じ意味です。

 \displaystyle
\left( \begin{matrix}
Cov[X_{\bullet 1}, Z] \\
\vdots \\
Cov[X_{\bullet m}, Z] \\
\end{matrix} \right) =
\left( \begin{matrix}
Cov[X_{\bullet 1}, X_{\bullet 1}] & \cdots & Cov[X_{\bullet 1}, X_{\bullet m}] \\
\vdots & \ddots & \vdots \\
Cov[X_{\bullet m}, X_{\bullet 1}] & \cdots & Cov[X_{\bullet m}, X_{\bullet m}] \\
\end{matrix} \right)
\left( \begin{matrix}
a_1 \\
\vdots \\
a_m \\
\end{matrix} \right)

逆行列を使って変形すると次のようになります。

 \displaystyle
\left( \begin{matrix}
a_1 \\
\vdots \\
a_m \\
\end{matrix} \right) =
\left( \begin{matrix}
Cov[X_{\bullet 1}, X_{\bullet 1}] & \cdots & Cov[X_{\bullet 1}, X_{\bullet m}] \\
\vdots & \ddots & \vdots \\
Cov[X_{\bullet m}, X_{\bullet 1}] & \cdots & Cov[X_{\bullet m}, X_{\bullet m}] \\
\end{matrix} \right)^{-1}
\left( \begin{matrix}
Cov[X_{\bullet 1}, Z] \\
\vdots \\
Cov[X_{\bullet m}, Z] \\
\end{matrix} \right)

行列を使ってきれいに表現できて感動していたら、この正方行列は分散共分散行列というものだということを知りました。

まとめ

 \displaystyle
\begin{align}
z &= \boldsymbol{a} \boldsymbol{x} + c \\
&= \sum_{j=1}^m a_jx_j+c
\end{align}

でフィットさせると、  \displaystyle
 \boldsymbol{a}, c は以下で計算できます。

 \displaystyle
\left( \begin{matrix}
a_1 \\
\vdots \\
a_m \\
\end{matrix} \right) =
\left( \begin{matrix}
Cov[X_{\bullet 1}, X_{\bullet 1}] & \cdots & Cov[X_{\bullet 1}, X_{\bullet m}] \\
\vdots & \ddots & \vdots \\
Cov[X_{\bullet m}, X_{\bullet 1}] & \cdots & Cov[X_{\bullet m}, X_{\bullet m}] \\
\end{matrix} \right)^{-1}
\left( \begin{matrix}
Cov[X_{\bullet 1}, Z] \\
\vdots \\
Cov[X_{\bullet m}, Z] \\
\end{matrix} \right)
 \displaystyle
\begin{align}
c &= E[Z] - \sum_{j=1}^m a_j E[X_{\bullet j}] \\
\end{align}

ここで出てくる正方行列は分散共分散行列というものです。

単回帰分析 \displaystyle
 m=1 の特別な場合です。 2値の重回帰分析 \displaystyle
 m=2 の特別な場合です。

リンク

私の関連記事