成分分析法

成分分析法

满足客户需求-五轮学说

2023年2月22日发(作者：激湍)

、概述

在处理信息时，当两个变量之间有一定相关关系时，可以解释为这两个变量反映此

课题的信息有一定的重叠，例如，高校科研状况评价中的立项课题数与项目经费、经费支

出等之间会存在较高的相关性；学生综合评价研究中的专业基础课成绩与专业课成绩、获

奖学金次数等之间也会存在较高的相关性。而变量之间信息的高度重叠和高度相关会给统

计方法的应用带来许多障碍。

为了解决这些问题，最简单和最直接的解决方案是削减变量的个数，但这必然又会

导致信息丢失和信息不完整等问题的产生。为此，人们希望探索一种更为有效的解决方

法，它既能大大减少参与数据建模的变量个数，同时也不会造成信息的大量丢失。主成分

分析正是这样一种能够有效降低变量维数，并已得到广泛应用的分析方法。

主成分分析以最少的信息丢失为前提，将众多的原有变量综合6210X较少几个综合

指标，通常综合指标（主成分）有以下几个特点：

主成分个数远远少于原有变量的个数

原有变量综合成少数几个因子之后，因子将可以替代原有变量参与数据建

模，这将大大减少分析过程中的计算工作量。

主成分能够反映原有变量的绝大部分信息

因子并不是原有变量的简单取舍，而是原有变量重组后的结果，因此不会造成原有变

量信息的大量丢失，并能够代表原有变量的绝大部分信息。

主成分之间应该互不相关

通过主成分分析得出的新的综合指标（主成分）之间互不相关，因子参与数据建模

能够有效地解决变量信息重叠、多重共线性等给分析应用带来的诸多问

主成分具有命名解释性

总之，主成分分析法是研究如何以最少的信息丢失将众多原有变量浓缩成少数几个因

子，如何使因子具有一定的命名解释性的多元统计分析方法。

、基本原理

主成分分析是数学上对数据降维的一种方法。其基本思想是设法将原来众多的具有

一定相关性的指标X1,X2,…，XP(比如p个指标)，重新组合成一组较少个数的互不相关的

综合指标Fm来代替原来指标。那么综合指标应该如何去提

取，使其既能最大程度的反映原变量Xp所代表的信息，又能保证新指标之间保持相互无

关(信息不重叠)。

设F1表示原变量的第一个线性组合所形成的主成分指标，即

FlailXl去/2...aplXp,由数学知识可知，每一个主成分所提取的信息量可

用其方差来度量，其方差Var(F1)越大，表示F1包含的信息越多。常常希望第一主成分F1

所含的信息量最大，因此在所有的线性组合中选取的F1应该是XI,

X2,…，XP的所有线性组合中方差最大的，故称F1为第一主成分。如果第一主

成分不足以代表原来p个指标的信息，再考虑选取第二个主成分指标F2，为有

效地反映原信息，F1已有的信息就不需要再出现在F2中，即F2与F1要保持独立、不相

关，用数学语言表达就是其协方差Cov(F1,F2)=0，所以F2是与F1不相关的X1,X2,…，

XP的所有线性组合中方差最大的，故称F2为第二主成分，依此类推构造出的F1、

F2、……、Fm为原变量指标X1、X2……XP第一、第二、……、第m个主成分

F1ai1X1a)22..dpXp

F2*21X1*22X2.■a2pXp

Fm

am1X1

am2X2.

…ampXp

根据以上分析得知：

⑴Fi与Fj互不相关，即Cov(Fi,Fj)=0,并有Var(Fi)=ai'工ai，其中工为X的协方差阵

(2)F1是XI,X2,…，Xp的一切线性组合(系数满足上述要求)中方差最大的,……,即Fm是

与F1,F2,……,Fm-1都不相关的X1,X2,…，XP的所有线性组合中方差最大者。

F1,F2,…，F(m

成分。

由以上分析可见，主成分分析法的主要任务有两点：

(1)确定各主成分Fi(i=1,2,…，n)关于原变量Xj(j=1,2,…，p)

的表达式，即系数ay(i=1,2,…，mj=1,2,…，p)。从数学上可以证明，原变量协方差矩

阵的特征根是主成分的方差，所以前m个较大特征根就代表前m个较大的主成分方差

值；原变量协方差矩阵前m个较大的特征值i(这样选取才能保证主成分的方差依次最大)所

对应的特征向量就是相应主成分Fi表达

式的系数a，为了加以限制，系数a启用的是i对应的单位化的特征向量，即有ai'ai=1。

(2)计算主成分载荷，主成分载荷是反映主成分Fi与原变量Xj之间的相互

关联程度：P(Zk“).kaki(i,1,2,L,p；k1,2,L,m)

三、主成分分析法的计算步骤

主成分分析的具体步骤如下：

(1)计算协方差矩阵

计算样品数据的协方差矩阵：工=(Sj)Pp,其中

(2)求出工的特征值i及相应的正交化单位特征向量ai

工的前m个较大的特征值12…m>0就是前m个主成分对应的方差，i

对应的单位特征向量ai就是主成分Fi的关于原变量的系数，则原变量的第i个主成分Fi为:

Fi=ai'X

主成分的方差(信息)贡献率用来反映信息量的大小,

(3)选择主成分

最终要选择几个主成分，即F1,F2,……,Fm中m的确定是通过方差(信息)累计贡献率

G(m)来确定

mp

G(m)i/k

i1k1

当累积贡献率大于85%寸，就认为能足够反映原来变量的信息了，对应的m就是抽

取的前m个主成分。

(4)计算主成分载荷

主成分载荷是反映主成分Fi与原变量Xj之间的相互关联程度，原来变量

Xj(j=1，2，…，p)在诸主成分Fi(i=1，2,…，n)上的荷载lij(i=1，

Sj

(Xki

n1

X)(XkjXj)i,j=1,2,…，p

i为:

2,…，mj=i,2,…，p)。

l(Zi,Xj),^9ij(i1,2,L,m;j1,2,L,p)

在SPSS软件中主成分分析后的分析结果中，“成分矩阵”反应的就是主成分载荷矩

阵。

(5)计算主成分得分

计算样品在m个主成分上的得分：

F

i

a

ii

X

1

a

2i

X

2...a

pi

X

pi=1,2,…，m

实际应用时，指标的量纲往往不同，所以在主成分计算之前应先消除量纲的影响。消

除数据的量纲有很多方法，常用方法是将原始数据标准化，即做如下数据变换：

*

x

ijXj

Xiji1,2,...,n;j1,2,...,p

Sj

1n21_2

其中：XjXj，Sj(XijXj)

ni1n1i1

根据数学公式知道，①任何随机变量对其作标准化变换后，其协方差与其相关系数是

一回事，即标准化后的变量协方差矩阵就是其相关系数矩阵。②另一方面，根据协方差的

公式可以推得标准化后的协方差就是原变量的相关系数，亦即,标准化后的变量的协方差矩

阵就是原变量的相关系数矩阵。也就是说，在标准化前后变量的相关系数矩阵不变化。

根据以上论述，为消除量纲的影响，将变量标准化后再计算其协方差矩阵，就是直接

计算原变量的相关系数矩阵，所以主成分分析的实际常用计算步骤是：☆计算相关系数矩

阵

☆选择主成分

☆求出相关系数矩阵的特征值i及相应的正交化单位特征向量ai

☆计算主成分得分

总结：原指标相关系数矩阵相应的特征值i为主成分方差的贡献，方差的

p

贡献率为ii/i，i越大，说明相应的主成分反映综合信息的能力越强，

i1

可根据i的大小来提取主成分。每一个主成分的组合系数(原变量在该主成分上的载荷)ai就

是相应特征值i所对应的单位特征向量。

主成分分析法的计算步骤

1、原始指标数据的标准化采集p维随机向量x=(xi,X,…，X)T)n个样品Xi=(Xii,",...,xip)

i=1,2,…,n，

n>p，构造样本阵，对样本阵元进行如下标准化变换：

g…—xr

Z{j二----------)i二Z…、n;j=1,2,…丫p

-聲1切奥5X1®一鬲尸

工命占P--------I

其中'冗""克一1，得标准化阵Z。

2、对标准化阵Z求相关系数矩阵

R=［如严=T

3、解样本相关矩阵R的特征方程—几.」1；得p个特征根，确定主成分

程组Rb=入jb得单位特征向量S

5、对m个主成分进行综合评价

对m个主成分进行加权求和，即得最终评价值，权数为每个主成分的方差贡献率。

一、主成分分析基本原理

概念：主成分分析是把原来多个变量划为少数几个综合指标的一种统计分析方法。从数

学角度来看，这是一种降维处理技术。

思路：一个研究对象，往往是多要素的复杂系统。变量太多无疑会增加分析问题的难度

和复杂性，利用原变量之间的相关关系，用较少的新变量代替原来较多的变量，并使这些少

数变量尽可能多的保留原来较多的变量所反应的信息，这

样问题就简单化了。

原理：假定有n个样本，每个样本共有p个变量，构成一个n>p阶的数据矩阵,

>①85

按…

确定m值，使信息的利用率达

85%以上，对每个入j,j=1,2,…,m.

解方

4、将标准化后的指标变量转换为主成分

U称为第一主成分，U称为第二主成分，…，UP称为第p主成分。

X2p

Xn1Xn2Xnp

记原变量指标为X1,X2,…，Xp，设它们降维处理后的综合指标，即新变量

为z1，z2，Z3，…，z^mwp)，则

Zi

I11X1I12X2I1pXp

Z2

I21X1I22X2

I2pXp

Zm

lmiX1Im2X2ImpXp

系数Ij的确定原则：

①zi与zj(i丰j；i，j=1，2，…，m相互无关；

②zi是Xi,X2,…,XP的一切线性组合中方差最大者，Z2是与zi不相关的Xi,X2，…,XP的所有线性

组合中方差最大者；zm是与zi,Z2,,Z什i都不相关的Xi,X2,…Xp,的所有线性组合中方差最大

者。

新变量指标Z1,Z2,…，Zm分别称为原变量指标X1,X2，…，XP的第i,第2,…,第m主成分。

从以上的分析可以看出，主成分分析的实质就是确定原来变量Xj(j=1,

2，…，p)在诸主成分Zi(i=1,2,…，m)上的荷载Ij(i=1,2,…，mj=1,2,…，p)。

从数学上可以证明，它们分别是相关矩阵m个较大的特征值所对应的特征向

量。

XiiXip

X21

k1

二、主成分分析的计算步骤

1、计算相关系数矩阵

rj（i,j=1,2,…，p）为原变量Xi与xj的相关系数，rj=rji，其计算公

2、计算特征值与特征向量

解特征方程1R0，常用雅可比法（Jacobi）求出特征值，并使其按大

12p

0

小顺序排列；P

2

eij1

分别求出对应于特征值i的特征向量ei（i1,2丄，

p），要求e

i=1，即八

其中eij表示向量ei的第j个分量。

3、计算主成分贡献率及累计贡献率

p

i(i1,2,L,p)

贡献率：k

k1

i

k

k

p

1(i1,2,L,p)

累计贡献率:

k

式为

r

ij

(XkiXi)(XkjXj)

k1

n

22

Xi)(XkjXj)

一般取累计贡献率达85%-958的特征值，1,2,L,m所对应的第1、第

2、…、第m(m

4、计算主成分载荷

ljP(Zi,xJJiq(i,j1,2,L,p)

5、各主成分得分

1、指标数据选取、收集与录入(表1)

寿1沿褂询牛省市经济魅器

地区GDP人均GDP

农业

埔UJ值

T业

Jfi加値

第三产业

用加值

产魅资世飪蹩零善总轴

初关出

口总硕

地方财

政收入

辽屮5458J136.22258.4B15.9529.02258.4123.7399.7

山东

10550.0116431W03502.53S5L.0

2288.71070.73131.921L4

610.2

河北6076.69047950.21406.72092.61161.6597.11908345.$3023

天律2022,622068EJ.9822.8960.0703.736).9941上115.71711

江拂

10636.01W711225

35363

J967.2

2330.0114L.3

3215B384.7643.7

卜牌

5408.840627E6.2

21962

2755A

1970.27793

2035.2320,5709,0

斷辽7670.0165706B0.023MJ2296.61180.62S77.5294,2$66.9

4982.01J510663.0IO47J1SSM)964.5

巩g

1663.3173.7272.9

广东

)1770.224.64793.6

3022.912715

5013.61843712Q2.0

广西2437.25062591.4367.0995.7542.235271025.5]5„1186.7

2、Analyze—DataReduction—FactorAnalysis，弹出FactorAnalysis对

话框:

Z11Z12Z1m

Z21Z22Z2m

Zn1Zn2Znm

、主成分分析法在SPSS中的操作

表2FactorAnalyze対话眶与Descriptives卡对话框

3、把指标数据选入Variables框，Descriptives:CorrelationMatrix框组

中选中Coefficients,然后点击Continue,返回FactorAnalysis对话框，单击OK

注意：SPSS在调用FactorAnalyze过程进行分析时，SPSS会自动对原始数据进行标

准化处理，所以在得到计算结果后的变量都是指经过标准化处理后的变量，但SPSS并不直

接给出标准化后的数据，如需要得到标准化数据，则需调用Descriptives过程进行计算。

苦3相关系数矩阵

ComelaticoNfetrix

GDP

AJJJ

GDP

农业

JW加値

工业

M加值

第三

产业

固宦庚产

投逵

社会泊帝

Ai垂售总

额

出口总帧

地方

收入

GDP1.000・0.094-00520.9670979092J092209410.6370826

人均GDP

-0.0941000-01710,1130.07402140.093-0.

农业増加值

-0.052-D.l7iLOOO-0.132-0.09S-0.P60.01J-0125

C0S6

工业09670.1B-01321.W00.98509630.93909350-7050.S98

第三产业埔側血0.9790074-0.0500.985]000097J0913

0.9230.214-0.09809630.9731.000&.9710.9370.7170.954

基本建玫投资0.9220093-0.17609390.94009711000

0.妙0.6240.S4S

礼瓷滔供品爭書总额0.941-004300130.9350.9620.9370.8971.0000-8360.939

牌黄由口总■檢06370081-0.1250.7050.714071?0.«.8B2

地方时政收入0.8260.273-0.0860.89809130.9340.S4S0.9290_8&21.000

也11出6£：

|^>QDP^li

：'事比均GDP昭］

$恋业增加值［X3］倉

工业動HS用］

!$第三产址增厠S严.参固

定资产投费旌

no

Pj5t&I

Reset.

Cartel；

Statistics

,|-rir~—r~-riguiiiiwirrniiii^aii._aa>_aJii—a

Uiiivaratedtserptiwe^

P[niialsolution

Cancel

*甚本建谀投赍買7---------」CorreldtioriMaln

IvCoefhEieht$(

,____,SdeciniflVeiiahfe1上二二二丄

「Ijivefst

Repra^cedA

nt-image

Qesaiptrvei•瑚歸bon..Scores..

'"曲81帼酬

厂KMOandBarlfeN'jresfc就甫也

从表3可知GDP与工业增加值，第三产业增加值、固定资产投资、基本建设投资、社

会消费品零售总额、地方财政收入这几个指标存在着极其显著的关系，与海关出口总额存在

着显著关系。可见许多变量之间直接的相关性比较强，证明他们存在信息上的重叠。

主成分个数提取原则为主成分对应的特征值大于1的前m个主成分。特征值在某种程

度上可以被看成是表示主成分影响力度大小的指标，如果特征值小于1,说明该主成分的解释

力度还不如直接引入一个原变量的平均解释力度大，因此

一般可以用特征值大于1作为纳入标准。通过表4（方差分解主成分提取分析）可知,提取2

个主成分,即m=2,从表5（初始因子载荷矩阵）可知GDP工业增加值、第三产业增加值、固

定资产投资、基本建设投资、社会消费品零售总额、海关出口总额、地方财政收入在第一主

成分上有较高载荷，说明第一主成分基本反映了这些指标的信息；人均GDP和农业增加值

指标在第二主成分上有较高载荷，说明第二主成分基本反映了人均GDP和农业增加值两个

指标的信息。所以提取两个主成分是可以基本反映全部指标的信息，所以决定用两个新变量

来代替原来

的十个变量。但这两个新变量的表达还不能从输出窗口中直接得到，因为

Ganwoftw

ImhaDEi^nxiahws

ExiracGaaiLSmmofSqwedgdn辱

Totalp0ufTolal%cfVanajsce

17.22072.20572.2057.22072.20572.205

21.23512346BJ5511.23512.S4684551

3037.'8.76993.119

40.5475.46698786

50.0850.85499.640

60.0210.21199850

700120.L1999970

80(X)2001S99^88

90/.000

0.000100.000

Couiponeor

12

GDP

0495

人均GDP0/112-0.S24

磺业堵加恒-0.1090.677

工业iflUi值

0.97B-0.005

.第三产业WttiiA

0.9B60.070

固宦吏严投换

0.9S3-0.06S

0.947

-0.024

州住消资品零皆总極

0.977D.176

08W-Q.Q51

地方射政收入0P54-0.128

殺斗片慕甘解*版莎捉申分折我

TbalVAn皿k电ExplanKd

Extmclicn.陡ElupdPrincipalCbmpanenl:Analyd百

我5刨蜥囚予我荷矩阵

CanpoiieikEXfatris?

PrmripalCcm(fflnefU畑1阿

訐2caifKxiFntseodpirt^d

ComponentMatrix”是指初始因子载荷矩阵,每一个载荷量表示主成分与对应变量的相关

系数。

用表5（主成分载荷矩阵）中的数据除以主成分相对应的特征值开平方根便得到两个主

成分中每个指标所对应的系数。将初始因子载荷矩阵中的两列数据输入（可用复制粘贴的方

法）到数据编辑窗口（为变量B1、B2）,然后利用

“Transform—ComputeVariable”,在ComputeVariable对话框中输入

“A仁B1/SQR（7.22）”［注：第二主成分SQ后的括号中填1.235,即可得到特征向量A

（见表6）。同理，可得到特征向量氏。将得到的特征向量与标准化后的数据相乘，然后就

可以得出主成分表达式［注：因本例只是为了说明如何在SPSS进行主成分分析，故在此不

对提取的主成分进行命名，有兴趣的读者可自行命名。

Fi=0.353ZXi-H3.042ZX：-0.041ZX3+0.364ZX4+0367ZX.

P.366ZX,+0.352ZX-+0・364啓+02982^+0.355ZXio

F,=0.175ZX}

-0.741ZX：+0.609ZX,-0.004Z+

0.063ZX<-s-0.022ZX7TH丸ZXS-0.046ZX,■0415ZXLO

Cant-pl.

事■-a'-b"Pr.'-.r:•-i'JIn■/*-i■'LJn.*«*'h—li■

NtrrericEMwetticr

|A1■

in'1*T

表6ComputeVariable对话椎

<丿S勺*T•'p|]

AFSIUlTtfl-irnpiJ

TAMnurawpElHFHQP

卜畑訥i

ULLl(q.l

if..

I“1七兰」

|_*_}岂

标准化：通过Analyze—DescriptiveStatistics—Descriptives对话框来

实现：弹出Descriptives对话框后,把X1〜X0选入Variables框，在Savestandardizedvalues

asvariables前的方框打上钩,点击“OK,经标准化

的数据会自动填入数据窗口中，并以Z开头命名。

表1Descriptives对话框

'_V■-Fuff于f••

■.GDPIbMl

*也吐旳

I，工竝增3硼『》］

_'*It三戸坊増咖-

|卡、砂己新尹探第产

MS-垂卑注視抿負AT

d1习啊T*対（曰^凸曲时芒n01v>ariatai&v

以每个主成分所对应的特征值占所提取主成分总的特征值之和的比例作为

权重计算主成分综合模型，即用第一主成分F1中每个指标所对应的系数乘上第一主成分F1

所对应的贡献率再除以所提取两个主成分的两个贡献率之和，然后加上第二主成分F2中每

个指标所对应的系数乘上第二主成分F2所对应的贡献率再除以所提取两个主成分的两个贡

献率之和，即可得到综合得分模型：

F=0.327ZX：-0.072ZX>+C.054ZXtK»3107X^0323ZX^+

03042X^^.297ZX7-K）334ZX€+O.248ZX.-H3286ZXK1

根据主成分综合模型即可计算综合主成分值，并对其按综合主成分值进行排序，即可对

各地区进行综合评价比较，结果见表8

§口一门

QdruTfl;

I

表名综台主成分值

城4J■1'.诫F,1：战5>F.排«加分Ftttft

L礬5.2310.1164.4£1

2.2520.2351.962

山示1.9630.5021.753

浙il1.164-0.1980.964

J;海0.305-2.3610-0.095

辽宁十1.2461.961-0.7S6

冋北-LJ570.414-1.107

-1.97S-0.077-L708

天津-3.049-1.019-2.749

-33

10

0.413亠2.75IO

具体检验还需进一步探讨与学习

1）首先将原有变量数据标准化，然后计算各变