数据变换

数据变换包括对数据进行规范化，离散化，稀疏化处理，达到适用于挖掘的目的。

规范化处理

离散化处理

数据离散化是指将连续的数据进行分段，使其变为一段段离散化的区间。分段的原则有基于等距离、等频率或优化的方法。数据离散化的原因主要有以下几点：

• 模型需要：比如决策树、朴素贝叶斯等算法，都是基于离散型的数据展开的。如果要使用该类算法，必须将离散型的数据进行。有效的离散化能减小算法的时间和空间开销，提高系统对样本的分类聚类能力和抗噪声能力。

• 离散化的特征相对于连续型特征更易理解。

• 可以有效的克服数据中隐藏的缺陷，使模型结果更加稳定。

等频法：使得每个箱中的样本数量相等，例如总样本 n=100，分成 k=5 个箱，则分箱原则是保证落入每个箱的样本量=20。

等宽法：使得属性的箱宽度相等，例如年龄变量（0-100 之间），可分成 [0,20]，[20,40]，[40,60]，[60,80]，[80,100]五个等宽的箱。

聚类法：根据聚类出来的簇，每个簇中的数据为一个箱，簇的数量模型给定。

稀疏化处理

针对离散型且标称变量，无法进行有序的 LabelEncoder 时，通常考虑将变量做 0，1 哑变量的稀疏化处理，例如动物类型变量中含有猫，狗，猪，羊四个不同值，将该变量转换成 is猪，is猫，is狗，is羊四个哑变量。若是变量的不同值较多，则根据频数，将出现次数较少的值统一归为一类’rare’。稀疏化处理既有利于模型快速收敛，又能提升模型的抗噪能力。