主成分分析と因子分析の違い
主成分分析と同様、因子分析も多次元のデータを要約するため新しい座標軸を設定する。主成分分析では偏差の平方和が最大になるような座標軸を求め、これを繰り返し第1主成分、第2主成分と順に求め、累積寄与率が十分になった時点でデータを要約する。要約とは、元データと主成分の相関を解釈し、座標軸(主成分)に名前を付けて解釈する(例えば元データが算数、国語、理科、社会の4科目の成績である場合、第1主成分は理数系能力、第2主成分は文系能力等)。主成分とは、観察されたデータの合成変数つまり線形結合を意味する。一方、因子分析では分析者があらかじめ因子を設定し、因子によって観察されたデータを説明する。つまり観察されたデータを因子の合成変数(線形結合)で表す。因子に解釈を与え、名前を付ける点は主成分分析と同じ。
主成分分析では、観察データの情報の損失が最小になるように主成分に要約する。因子分析では、分析者が設定した共通因子によって観察データを説明する*1。共通因子によって説明されなかった部分は独自因子によって説明されるため情報の損失は起こらない。

1因子モデル
3変量1因子モデルの図示

因子についての仮定条件
分析にあたって以下の3つの仮定を置く。- 共通因子は標準化されている
- 独自因子の平均はゼロ
- すべての因子は独立であり共分散はゼロ
連立方程式を解く
変数の分散は、2因子モデル
3変量2因子モデルの図示

因子についての仮定条件
- 共通因子は標準化されている
- 独自因子の平均はゼロ
- すべての因子は独立であり共分散はゼロ
共通性
共通因子が各変数をどの程度説明しているかを表す。各変数の因子負荷量の二乗和を計算する。1因子モデルの場合、- (
の共通性)=
- (
の共通性)=
- (
の共通性)=
- (
の共通性)=
- (
の共通性)=
- (
の共通性)=
独自性
各変数の因子では説明できなかったものの大きさ(独自因子の影響力)を表す。独自因子の分散。(独自性)=- (
の独自性)
- (
の独自性)
- (
の独自性)
- (
の独自性)
- (
の独自性)
- (
の独自性)
因子の回転
因子負荷量を平面上にプロットしたとき、さしたる傾向が導けない場合には因子を回転してもよい。1因子モデル(1)をベクトルと行列を使って表し、*1:ただし共通因子も観察可能なデータではある。