[发明专利]基于MapReduce的并行特征选择方法

摘要

本发明的基于MapReduce的并行特征选择方法，包括：a)将数据划分为份；b)将份数据分配到个Map计算节点上；c)建立已选择的特征集和未选中的特征集；d)求取向量与类变量之间的联合互信息；e)联合互信息最大的特征变量作为特征变量，并将特征变量序列号和相应的联合互信息值传递给Reduce计算节点；f)判断是否存在统计数量相等的特征变量；g)联合互信息值的比较；h)被选中特征的添加和删除；i)判断选中特征的数目。本发明的基于MapReduce的并行特征选择方法，可快速、有效地在海量数据集中提取出信息量最大的特征变量组合，适于海量数据的特征提取。

主权项

1.一种基于MapReduce的并行特征选择方法，其特征在于，通过以下步骤来实现：a).数据划分，将初始数据平均划分为份，设其分别为、、…、；b).数据部署，设参与运算的计算节点的数目为个，将划分后的份数据平均分配到个Map计算节点上；c).建立向量，设和为两个向量，其中Φ，,表示已选择的特征集，初始为空集；表示未选中的特征集，初始为数据的所有特征变量，为特征变量数；设为类变量，设需要从个特征变量中选取个特征；d).求取联合互信息，对于个Map计算节点中的任意一个计算节点来说，在处理每一份数据的过程中，均计算向量与类变量之间的联合互信息，其中：，；e).选取特征变量，步骤d)中，使联合互信息最大的特征变量作为该计算节点从该份数据中选择的特征变量，并将该特征变量序列号和相应的联合互信息值传递给Reduce计算节点；f).统计被选中特征的数目，在Reduce计算节点，统计所有Map计算节点记录的特征变量的序列号，判断是否存在统计数量相等的特征变量，如果不存在，则将统计数量最多的序列号所对应的特征变量作为选取的全局特征变量；如果存在，则执行步骤g)；g).联合互信息值的比较，对统计数量相等的特征变量，分别对各自变量所对应的联合互信息值进行求和计算，选择具有较大联合互信息值的特征变量作为全局特征变量；h).被选中特征的添加和删除，将选中的全局特征变量添加至向量中，即令；并将选中的全局特征变量从向量中删除，即令；i).判断选中特征的数目，判断已选中特征变量的数目是否已达到个，如果达到个，则整个特征选择过程结束；如果没达到个，则重复执行步骤d)～h)选择下一个特征。