[发明专利]基于归约的数据增量聚类方法、系统、介质及装置

说明书

本发明属于图像数据处理的技术领域，具体涉及一种基于归约的数据增量聚类方法、系统、介质及装置。本发明旨在解决当图像数据规模很庞大时，在实现搜索和遍历的步骤时存在对单机容量要求高、数据处理耗时长，导致图像增量聚类的效率低的问题。为此目的，本发明在将新增数据与历史数据进行聚类的过程中，只是通过归约新簇与归约老簇进行匹配或者聚类，而不是直接将所有的新增数据与历史数据进行聚类。从而，通过在新增的数据和历史数据聚类之前分别对各自的簇进行归约处理，减少了新增数据与历史数据聚类时的运算量以及降低了对运行内存的需求，并节约了聚类的时间成本和经济成本。

技术领域

本发明属于图像数据处理的技术领域，具体涉及一种基于归约的数据增量聚类方法、系统、介质及装置。

背景技术

人员管理系统、视频监控系统等采集的人脸图像的数量一般呈指数增长，形成海量的人脸库。为了实现对人脸图像的管理、检索和查询，经常需要对人脸图像进行聚类。即当采集到新增加的人脸图像时，需要先对该新增的人脸图像进行特征识别，然后将其与属于同一类别的老的人脸图像进行归类并存储，该过程即涉及到图像增量聚类技术。

在现有的图像增量聚类技术中，主要采用连接传递的聚类算法，如DBSCAN算法等。在此类算法中，完成图像特征的最近邻矩阵(KNN)搜索和对最近邻矩阵的遍历都是必不可少的步骤。如果直接在图像增量数据与图像老数据混合后，进行全量最近邻矩阵搜索和最近邻矩阵遍历，则当后期的图像数据规模很庞大时，会在实现搜索和遍历的步骤时存在对单机容量要求高、数据处理耗时长，导致图像增量聚类的效率低的问题。

相应地，本领域需要一种改进的基于归约的数据增量聚类方法、系统、介质及装置来解决上述问题。

发明内容

为了解决或至少部分解决：当图像数据规模很庞大时，在实现搜索和遍历的步骤时存在对单机容量要求高、数据处理耗时长，导致图像增量聚类的效率低的问题。本发明提供了一种基于归约的数据增量聚类方法、系统、介质及装置。

第一方面，本发明提供了一种基于归约的数据增量聚类方法，包括：在数据库中新增数据后，对新增的数据进行聚类而获得一个或多个原始新簇；对所述原始新簇中的数据进行归约处理，得到归约新簇；对数据库中加入所述新增数据之前的数据的原始老簇进行归约处理，得到归约老簇；将所述归约新簇与所述归约老簇进行匹配，得到与所述归约新簇匹配成功的归约老簇；根据所述归约新簇与匹配成功的归约老簇的对应关系，将所述原始新簇中的全部数据增加到原始老簇中，对于每个原始新簇匹配成功则新增到对应的原始老簇中，未匹配成功则作为原始老簇中独立的簇，从而完成对所述原始老簇的数据的更新。

作为本发明提供的上述方法的一种优选的技术方案，对新增的数据进行聚类而获得一个或多个原始新簇的步骤，包括：先对新增的数据进行全量搜索得到新数据近邻矩阵；所述新数据近邻矩阵由与一个新增的数据邻近的多个其他新增的数据组成；通过对所述新数据近邻矩阵的遍历分析并采用聚类算法对新增的数据进行聚类，以获得一个或多个所述原始新簇。

作为本发明提供的上述方法的一种优选的技术方案，对新增的数据进行全量搜索，得到新数据近邻矩阵的步骤，包括：先得到第一TopK最近邻矩阵，所述第一TopK最近邻矩阵由与新增的一个数据邻近的K个其他新增的数据组成；然后在所述第一TopK最近邻矩阵中选取满足第一搜索半径的新增的数据组成所述新数据近邻矩阵。

作为本发明提供的上述方法的一种优选的技术方案，对所述原始新簇中的数据进行归约处理，得到包含所述原始新簇中部分数据的归约新簇的步骤，包括：在所述原始新簇的数据中进行采样，从而得到包含所述原始新簇中部分数据的归约新簇。

作为本发明提供的上述方法的一种优选的技术方案，所述采样的方法包括随机采样和密度中心采样中的至少一种；或者，在进行采样时，所用的采样算法包括重要性采样和马尔科夫蒙特卡洛采样中的至少一种。