归一化公式
搞笑短视频剧本-个人简介模板
2023年3月17日发(作者：娃娃家目标)机器学习中的归⼀化⽅法（NormalizationMethod）
、数据挖掘⼯作中，数据前期准备、数据预处理过程、特征提取等⼏个步骤⼏乎要花费数据⼯程师⼀半的⼯作时间。同时，
数据预处理的效果也直接影响了后续模型能否有效的⼯作。然⽽，⽬前的⼤部分学术研究主要集中在模型的构建、优化等⽅
⾯，对数据预处理的理论研究甚少，可以说，很多数据预处理⼯作仍然是靠⼯程师的经验进⾏的。从业数据建模/挖掘⼯作也
有近2年的时间，在这⾥结合谈⼀谈数据预处理中归⼀化⽅法。
在这⾥主要讨论两种归⼀化⽅法：
⽅法有两种形式，⼀种是把数变为（0，1）之间的⼩数，⼀种是把有表达式变为表达式。
（归⼀化）处理是的⼀项基础⼯作，不同评价指标往往具有不同的量纲和量纲单位，这样的情况会影响到的结果，为了消除指标之间的
量纲影响，需要进⾏数据标准化处理，以解决数据指标之间的可⽐性。原始数据经过数据标准化处理后，各指标处于同⼀，适合进⾏综合对
⽐评价。
下⾯是归⼀化和没有归⼀化的⽐较：
没有经过归⼀化，寻找最优解过程如下：
经过归⼀化，把各个特征的尺度控制在相同的范围内：
从经验上说，归⼀化是让不同维度之间的特征在数值上有⼀定⽐较性，可以⼤⼤提⾼分类器的准确性。
1、线性函数归⼀化(Min-Maxscaling)
线性函数将原始数据线性化的⽅法转换到[01]的范围，归⼀化公式如下：
该⽅法实现对原始数据的等⽐例缩放，其中Xnorm为归⼀化后的数据，X为原始数据，Xmax、Xmin分别为原始数据集的最⼤
值和最⼩值。
2、0均值标准化(Z-scorestandardization)
0均值归⼀化⽅法将原始数据集归⼀化为均值为0、⽅差1的数据集，归⼀化公式如下：
其中，µ、σ分别为原始数据集的均值和⽅法。该种归⼀化⽅式要求原始数据的分布可以近似为⾼斯分布，否则归⼀化的效果
会变得很糟糕。
以上为两种⽐较普通但是常⽤的归⼀化技术，那这两种归⼀化的应⽤场景是怎么样的呢？什么时候第⼀种⽅法⽐较好、什么
时候第⼆种⽅法⽐较好呢？下⾯做⼀个简要的分析概括：
1、在分类、聚类算法中，需要使⽤距离来度量相似性的时候、或者使⽤PCA技术进⾏降维的时候，第⼆种⽅法(Z-score
standardization)表现更好。
2、在不涉及距离度量、协⽅差计算、数据不符合正太分布的时候，可以使⽤第⼀种⽅法或其他归⼀化⽅法。⽐如图像处理
中，将RGB图像转换为灰度图像后将其值限定在[0255]的范围。
为什么在距离度量计算相似性、PCA中使⽤第⼆种⽅法(Z-scorestandardization)会更好呢？我们进⾏
了以下的推倒分析：
归⼀化⽅法对⽅差、协⽅差的影响：假设数据为2个维度(X、Y)，⾸先看0均值对⽅法、协⽅差的影响：
先使⽤第⼆种⽅法进⾏计算，我们先不错⽅差归⼀化，只做0均值化，变换后数据为
x′=x−x¯、y′=y−y¯
新数据的协⽅差为
σ′xy=1n−1∑in(x′i−x¯′)(y′i−y¯′)
由于x¯′=0、y¯′=0，因此
σ′xy=1n−1∑inx′iy′i
⽽原始数据协⽅差为
σxy=1n−1∑in(x′i−x¯′)(yi−y¯)
=1n−1∑in(x′i−0)(yi−y¯)
=1n−1∑in(xi−x¯)(yi−y¯)
因此σ′xy=σxyσxy
做⽅差归⼀化后：
x′=x−x¯σx、y′=y−y¯σy
σ′xy=1n−1∑in(x′i−0)(y′i−0)
=1n−1∑in(x−x¯σx)(y−y¯σy)
=1(n−1)⋅σxσy∑in(xi−x¯)(yi−y¯)
⇒σ′xy=σxyσxσy
使⽤第⼀种⽅法进⾏计算，为⽅便分析，我们只对X维进⾏线性函数变换
x′=c⋅xi
y′−y¯
x′=c⋅xi
计算协⽅差
σ′xy=1n−1∑in(c⋅xi−c⋅x¯)(yi−y¯)
=cn−1∑in(xi−x¯)(yi−y¯)
⇒σxy=σ′xyc
⇒σ′xy=c⋅σxy
可以看到，使⽤第⼀种⽅法(线性变换后)，其协⽅差产⽣了倍数值的缩放，因此这种⽅式⽆法消除量纲对⽅差、协⽅差的影
响，对PCA分析影响巨⼤；同时，由于量纲的存在，使⽤不同的量纲、距离的计算结果会不同。
⽽在第⼆种归⼀化⽅式中，新的数据由于对⽅差进⾏了归⼀化，这时候每个维度的量纲其实已经等价了，每个维度都服从均
值为0、⽅差1的正态分布，在计算距离的时候，每个维度都是去量纲化的，避免了不同量纲的选取对距离计算产⽣的巨⼤影
响。
总结来说，在算法、后续计算中涉及距离度量(聚类分析)或者协⽅差分析(PCA、LDA等)的，同时数据分布可以近似为状态分
布，应当使⽤0均值的归⼀化⽅法。其他应⽤中更具需要选⽤合适的归⼀化⽅法。