README.old
数据变换
数据变换包括对数据进行规范化,离散化,稀疏化处理,达到适用于挖掘的目的。
规范化处理
离散化处理
数据离散化是指将连续的数据进行分段,使其变为一段段离散化的区间。分段的原则有基于等距离、等频率或优化的方法。数据离散化的原因主要有以下几点:
-
模型需要:比如决策树、朴素贝叶斯等算法,都是基于离散型的数据展开的。如果要使用该类算法,必须将离散型的数据进行。有效的离散化能减小算法的时间和空间开销,提高系统对样本的分类聚类能力和抗噪声能力。
-
离散化的特征相对于连续型特征更易理解。
-
可以有效的克服数据中隐藏的缺陷,使模型结果更加稳定。
等频法:使得每个箱中的样本数量相等,例如总样本 n=100,分成 k=5 个箱,则分箱原则是保证落入每个箱的样本量=20。
等宽法:使得属性的箱宽度相等,例如年龄变量(0-100 之间),可分成 [0,20],[20,40],[40,60],[60,80],[80,100]五个等宽的箱。
聚类法:根据聚类出来的簇,每个簇中的数据为一个箱,簇的数量模型给定。
稀疏化处理
针对离散型且标称变量,无法进行有序的 LabelEncoder 时,通常考虑将变量做 0,1 哑变量的稀疏化处理,例如动物类型变量中含有猫,狗,猪,羊四个不同值,将该变量转换成 is猪,is猫,is狗,is羊四个哑变量。若是变量的不同值较多,则根据频数,将出现次数较少的值统一归为一类’rare’。稀疏化处理既有利于模型快速收敛,又能提升模型的抗噪能力。