[发明专利]一种基于MIC实现聚类算法的方法及装置

说明书

技术领域

本发明涉及数据处理技术领域，具体地说是一种实用性强、基于MIC实现聚类算法的方法及装置。

背景技术

聚类分析又称群分析，它是研究（样品或指标）分类问题的一种统计分析方法，同时也是数据挖掘的一个重要算法。聚类分析以相似性为基础，在一个聚类中的模式之间比不在同一聚类中的模式之间具有更多的相似性。

K-means算法是聚类分析中的一种硬聚类算法，是典型的基于原型的目标函数聚类方法，K-means算法以数据点到原型的某种距离作为优化的目标函数，利用函数求极值的方法得到迭代运算的调整规则。K-means算法以欧式距离作为相似度测度，是求对应某一初始聚类中心向量最优分类，使得评价指标最小；采用误差平方和准则函数作为聚类准则函数。

集成众核技术MIC（Many Integrated Core）是Intel公司在2012年底推出的基于x86架构的高并发协处理器架构。其产品系列名称为Intel Xeon Phi。

但是，现在还没有一种方法，可以使用MIC优化算法，使之能够高效k-means算法，更遑论处理任意规模的k-means算法。

基于此，现提供一种基于MIC实现聚类算法的方法及装置，该方法及装置基于集成众核技术MIC实现聚类算法，实用性强。

发明内容

本发明的技术任务是针对以上不足之处，提供一种实用性强、基于MIC实现聚类算法的方法及装置。

一种基于MIC实现聚类算法的方法，其具体实现过程为：

一、开辟CPU端内存，并根据该CPU端内存设置MIC数组；

二、将CPU内存复制到MIC数组；

三、将确定的MIC数组划分为一个或一个以上16乘16的大小的矩阵；对不足16乘16的矩阵，设置对应矩阵行列的两个标志位，标志位为16bit，其中每个bit对应矩阵中行或列，如存在该行或列，则该bit赋值为1，否则赋值为0；

四、对各划分的矩阵，按照矩阵乘法的形式进行矩阵运算，对不足16乘16的矩阵，在结果累加时，使用标志位参与运算，以获得协处理器MIC矩阵运算结果； 

五、统计MIC矩阵运算结果，当MIC矩阵运算结果中改变的点数大于或等于预先设置的阈值时，根据MIC矩阵运算结果更新MIC类数组，直至聚类完成。

所述步骤一中的CPU端内存包括CPU点数组和CPU类数组，相对应的，MIC数组包括MIC点数组、MIC类数组，其具体的开辟过程为：

从输入文件中获取每行一组浮点数的二进制或文本形式的信息，根据获取的二进制或文本形式的信息，建立中央处理器CPU内存相应的CPU点数组和CPU类数组；

根据CPU点数组和CPU类数组，确定MIC点数组、MIC类数组。

所述MIC点数组、MIC类数组确定过程为：将CPU点数组转置变化后赋值给MIC点数组，将CPU类数组直接赋值给MIC类数组。

所述矩阵运算前进行初始化的步骤：设置元素个数与MIC点数组相同的聚类结果数组，并初始化聚类结果数组各元素为-1。

所述步骤五中统计MIC矩阵运算结果通过聚类结果数组实现。

所述步骤五中聚类完成是指MIC矩阵运算结果中改变的点数小于预先设置的阈值。

所述步骤五中根据MIC矩阵运算结果更新MIC类数组的具体过程为：根据MIC矩阵运算结果更新CPU类数组，再直接将CPU类数组赋值给MIC类数组。

一种基于MIC实现聚类算法的装置，该装置包括接收单元、划分单元、计算单元、统计处理单元和确定单元；其中，

接收单元，用于接收CPU处理的点数组和类数组；

划分单元，用于将确定的MIC类数组和MIC点数组划分为一个或一个以上16乘16的大小的矩阵；对不足16乘16的矩阵，标志位赋值为0，除标志位以外的其他位赋值为1；

计算单元，用于对各划分的矩阵，按照矩阵乘法的形式进行矩阵运算，对不足16乘16的矩阵，在结果累加时，使用标志位参与运算，以获得协处理器MIC矩阵运算结果；

统计处理单元，用于统计MIC矩阵运算结果，当MIC矩阵运算结果中改变的点数大于或等于预先设置的阈值时，根据MIC矩阵运算结果更新MIC类数组，直至聚类完成；

确定单元，用于将CPU点数组转置变化后赋值给MIC点数组，将CPU类数组直接赋值给MIC类数组。

本发明的一种基于MIC实现聚类算法的方法，具有以下优点：