[发明专利]基于Spark与蚁群优化的多目标并行属性约简方法

摘要

本发明公开一种基于Spark与蚁群优化的多目标并行属性约简方法，将云计算Spark并行技术与智能蚁群算法相结合的思路引入到粗糙集理论属性约简中，此基础上利用信息增益率作为启发信息，对被选属性与每代最优解进行冗余检测的创新策略，使得算法能够快速收敛于全局最优解，可有效避免冗余属性添加到约简集合的可能以及消除了起始属性随机选择所造成的冗余性。此外，在计算启发信息时采用了一种多目标并行求解策略，可同时求解多个属性相对于当前属性的启发信息，时间复杂度由O(|n2|)降至O(|n|)。

主权项

1.基于Spark与蚁群优化的多目标并行属性约简方法，其特征是，具体包括步骤如下：步骤1、将决策信息系统上传至分布式文件系统HDFS中，HDFS会自动地将决策信息系统中的数据切分为多个数据分片分布至各个计算机节点，且各个数据分片独立不重叠；上述各个计算机节点中有一个为主节点，其余均为从节点；步骤2、各个计算机节点包括主节点和从节点，对其所分得的数据分片进行属性提取，并将其以键值对<key，value>的形式进行存储；此时，所得键值对<key，value>中的key值为条件属性i及其取值，条件属性j及其取值，决策属性的取值；所得键值对<key，value>中的value值为1；步骤3、各个从节点将其所存储的键值对<key，value>上传到主节点，主节点对主节点自身存储的所有键值对<key，value>和各个从节点上传的所有键值对<key，value>进行等价类求和操作，即将这些键值对<key，value>中相同key值所对应的value值进行数值累加；此时，所得键值对<key，value>中的key值保持不变；所得键值对<key，value>中的value值为求和所得数值；步骤4、主节点对步骤3所得键值对<key，value>进行重新定义，即将这些键值对<key，value>中的key值包含的决策属性值去除；此时，所得键值对<key，value>中的key值为条件属性i及其取值，条件属性j及其取值；所得键值对<key，value>中的value值保持不变；步骤5、主节点再次对步骤4所得键值对<key，value>进行等价类合并操作，即将这些键值对<key，value>中相同key值所对应的value值以数组形式合并；此时，所得键值对<key，value>中的key值保持不变；所得键值对<key，value>中的value值为合并所得数组；步骤6、主节点将步骤5所得的键值对<key，value>广播到各个从节点；各个计算机节点包括主节点和从节点，根据所得到的键值对<key，value>，计算各个属性相对于决策属性的单属性局部条件熵，以及每2个属性之间相对决策属性的属性对局部条件熵；步骤7、从节点将所其所计算的所有单属性局部条件熵和属性对局部条件熵同时上传到主节点；主节点对各个属性的所有单属性局部条件熵进行相加，得到单属性全局条件熵；同时，主节点对各个属性对局部条件熵进行相加，得到属性对全局条件熵；最后，主节点根据单属性全局条件熵和属性对全局条件熵计算得到每2个属性之间的启发信息；步骤8、主节点基于步骤7所计算的每2个属性之间的启发信息，利用蚁群算法对决策信息系统中的条件属性集进行约简；上述i,j∈C，C表示条件属性集，j≠i。