重回帰分析(多値)を分散・共分散から計算する式
重回帰分析(2値)を平均・分散・共分散・相関係数から計算する式の記事で計算した独立変数が2つの重回帰分析を、独立変数 個の重回帰分析に一般化します。
独立変数が2つの重回帰分析での を に、 を に置き換えます。
この記事では をまとめて 、 をまとめて とも書くことにします。
以下の式でフィットさせ、最小二乗法で を求めます。
実際の の値と上の式で計算した との差分の二乗 を以下で表します。
ここで ] という記法を以下の定義とします。
] は2値の議論での ] に相当し、 ] は2値の議論での ] に相当します。この記法をこのあとで使うことにします・
を で偏微分すると0になる が の最小値となりますので、偏微分します。
まずは先に での偏微分です。
が最小値となる を求めたいので、これが0になる式を計算します。
次に での偏微分です。 での偏微分というのは の各要素 での偏微分です。
が最小値となる を求めたいので、これが0になる式を計算します。
この式は行列を使って次のようにも表現できます。まったく同じ意味です。
逆行列を使って変形すると次のようになります。
行列を使ってきれいに表現できて感動していたら、この正方行列は分散共分散行列というものだということを知りました。
まとめ
でフィットさせると、 は以下で計算できます。
ここで出てくる正方行列は分散共分散行列というものです。
単回帰分析は の特別な場合です。 2値の重回帰分析は の特別な場合です。
リンク
私の関連記事