[发明专利]一种基于分布式K-means的海量图像分类方法

摘要

本发明提供了一种基于分布式K‑means的海量图像分类方法，属于机器学习与图像处理技术领域。本发明可用于大规模图像分类，该方法在大数据处理平台Hadoop上采用分布式K‑means算法提取图像特征，最终实现对大规模图像进行分类的目的。本发明通过对大规模图像数据进行字典的学习，构建特征映射函数以及分类算法的设计，提出了在大数据处理平台Hadoop基础上，基于分布式K‑means的特征提取算法。该方法避免了人为设计大规模图像特征的繁琐工作，在保证分类准确度的前提下，减少了训练时间，本发明的成果在大规模数据库管理、军事、医疗等方面有着重要的意义。

主权项

1.一种基于分布式K‑means的海量图像分类方法，具体包括如下步骤：步骤1.训练图像预处理；输入训练图像数据集，并将每张训练图像划分成多个图像块，对每个图像块依次进行正则化和白化操作以去除干扰信息、保留关键信息，作为输入信息送给下一步处理；步骤2.在大数据处理平台Hadoop上，将K‑means算法并行化，把步骤1所得的预处理后的图像块信息作为输入，进行字典的提取；步骤2所述的字典提取过程具体如下：经过步骤1预处理后的图像块作为Map节点的输入，首先初始化聚类中心，多个Map节点并行的读取预处理后的图像数据，并计算分配到每个聚类中心的元素，之后在Reduce节点上，统计每个类别的所有元素，重新计算新的聚类中心，对比新的聚类中心和之前的聚类中心的变化是否小于设定的阈值，若小于，则迭代结束，输出聚类中心，否则更新聚类中心，重新开始新的一轮迭代过程；步骤3.提取字典后，构建特征映射函数，将预处理后的训练图像块映射为新的特征表达；步骤3具体过程如下：将步骤2得到的字典并行化的分配给多个Map节点，同时输入新的无标签的图像数据集给每个Map节点，对Map节点上的图像数据集进行特征学习，将输入图像数据进行特征映射得到的特征，公式如下：其中，f⁽ⁱ⁾(x)是图像块的新的特征表达，N是步骤2所提取字典的聚类中心总数，c^(k)是第k个聚类中心；步骤4.将步骤3获得的训练图像块的新的特征表达输入到SVM分类器中，进行图像分类训练；步骤5.针对需要进行分类的目标图像，将其依次进行图像块划分、正则化、白化操作以及特征提取之后，利用完成图像分类训练的SVM分类器进行分类。