[发明专利]一种分布式比对聚类方法、装置、电子设备及存储介质

说明书

本申请实施例公开了一种分布式比对聚类方法、装置、电子设备及存储介质。本申请实施例提供的技术方案，通过各计算节点在任务队列领取由聚类任务均分而成的子任务，计算节点对领取到的子任务进行处理，将处理生成的比对聚类结果发送至结果队列，同时继续在任务队列中领取新的子任务进行处理，直至对应一个聚类任务均分的所有子任务被处理完，最终由管理节点汇总聚类各个子任务的比对聚类结果，完成该比对聚类任务。由计算节点根据子任务的处理进程，处理完一个子任务再领取新的子任务，直至完成比对聚类任务，以使各个计算节点的算力得到均衡、充分的利用，数据比对聚类更为高效。

技术领域

本申请实施例涉及数据聚类技术领域，尤其涉及一种分布式比对聚类方法、装置、电子设备及存储介质。

背景技术

在安防跟踪监控场景中，需要将摄像头监控的视频图像进行比对聚类，将经比对聚类后的图像特征数据用于后续的安防数据分析。目前，传统的数据比对分析大多采用单节点进行比对聚类任务的计算，但随着特征数据规模的增加，单节点比对聚类已无法满足产品、项目中的计算需求。对于城市安防监控而言，其监控图像数据量庞大，仅采用单节点执行比对聚类任务，其CPU负载过大，数据计算效率偏低。为了提高数据计算效率，通常会采用分布式计算的方式以缓解单节点处理任务的压力，但是，仅仅简单地将任务分发至多个节点进行处理，由于各个节点的算力不同，处理同一数据量的任务的时效也不同，仅仅简单地均分计算任务无法充分利用各节点的算力，进而影响数据聚类效率。

发明内容

本申请实施例提供一种分布式比对聚类方法、装置、电子设备及存储介质，能够充分利用各计算节点算力，提高数据聚类效率。

在第一方面，本申请实施例提供了一种分布式比对聚类方法，应用于计算节点，包括：

实时监听任务队列，从所述任务队列领取子任务，所述子任务由管理节点接收比对聚类任务，将所述比对聚类任务均分为若干个所述子任务并放入所述任务队列中；

从所述管理节点获取对应所述比对聚类任务的特征数据集，基于所述特征数据集处理所述子任务，生成所述子任务的比对聚类结果；

将所述比对聚类结果发送至对应所述比对聚类任务的结果队列中以供所述管理节点进行聚类，同时检查所述任务队列，继续领取新的子任务进行处理，直至领取完所述任务队列中对应所述比对聚类任务的所述子任务，完成所述比对聚类任务的处理。

优选的，所述子任务包含有请求标识、管理节点地址、特征起始序号及特征结束序号。

优选的，在所述从所述管理节点获取对应所述比对聚类任务的特征数据集，基于所述特征数据集处理所述子任务中，根据所述特征起始序号及所述特征结束序号获取所述特征数据集中对应的特征数据进行比对聚类。

优选的，所述从所述管理节点获取对应所述比对聚类任务的特征数据集，基于所述特征数据集处理所述子任务，生成所述子任务的比对聚类结果，包括：

基于对应的特征数据将所述子任务拆分成若干个比对任务；

使用多线程分别处理所述比对任务；

汇总所述比对任务的比对结果，基于所述比对结果进行聚类，生成所述子任务的比对聚类结果。

优选的，所述任务队列为共享任务队列，所述任务队列包括对应不同比对聚类任务的子任务。

优选的，在所述将所述比对聚类结果发送至对应所述比对聚类任务的结果队列中以供所述管理节点进行聚类，同时检查所述任务队列，继续领取新的子任务进行处理，直至领取完所述任务队列中对应所述比对聚类任务的所述子任务，完成所述比对聚类任务的处理之后，还包括：

清除对应所述比对聚类任务的特征数据集，从所述任务队列领取对应新的比对聚类任务进行均分的子任务进行处理。