[发明专利]一种基于向量数据库的监控视频人物检索方法及系统

说明书

本发明公开了一种向量数据库的监控视频人物检索方法及系统，包括：对被检索视频的关键帧进行人脸检测及聚类，并对被检索视频的所有关键图片帧进行时域分割聚合处理，建立向量数据库、Mysql数据库；对获取待检索人物图片进行向量化处理，并基于向量化处理结果及所述向量数据库、Mysql数据库，获取与人物图片对应的视频片段。本发明针对于监控视频时域分割、人像特征提取和检索分析的整体解决方案，可以从大量监控视频中提取人脸特征，建设视频人像特征数据库(向量数据库)，快速检索得到目标人物出现于哪些视频片段并直观展示，可有效应用于人像视频检索分析的多种实际场景。

技术领域

本发明涉及大数据AI视频图像检索技术领域，具体涉及一种基于向量数据库的监控视频人物检索方法及系统。

背景技术

在智能数据服务广泛发展的市场背景下，数据智能面临挑战。由于智能边缘设备的普及，非结构数据(如图片、视频、语音和文字)呈现爆炸式增长的趋势，这对基于AI算法的非结构数据挖掘任务形成了巨大的挑战。在视频智能检索、智能客服、人车ReID、以图搜图等应用场景下，非结构数据经过深度学习模型的处理，会被向量化。

当前视频检索分析的主流方向之一是针对结构化数据的视频结构化查询分析，可应用于文本搜视频、文本搜图片，但传统的结构化存储数据库无法满足海量非结构数据的快速检索，而针对非结构化数据的视频向量化检索分析，可应用于图片搜图片、图片搜视频。但当前视频向量数据存储处理存在几个痛点：(1)视频图片向量数据的数据量大，传统的关系型数据库存储结构，难以高效存储向量数组。(2)传统向量检索采用暴力检索方式，难以满足应用场景下的秒级响应。(3)相较于业界成熟的图像识别、视频处理技术，目前业界缺乏成熟的视频人物探测和向量检索整体解决方案。

发明内容

因此，本发明要解决的技术问题在于克服现有技术中的难以高效存储向量数组、向量检索难以满足应用场景下的秒级响应的缺陷，从而提供一种基于向量数据库的监控视频人物检索方法及系统。

为达到上述目的，本发明提供如下技术方案：

第一方面，本发明实施例提供一种基于向量数据库的监控视频人物检索方法，包括：对被检索视频的关键帧进行人脸检测及聚类，并对被检索视频的所有关键图片帧进行时域分割聚合处理，建立向量数据库及Mysql数据库；对获取待检索人物图片进行向量化处理，并基于向量化处理结果及向量数据库、Mysql数据库，获取与人物图片对应的视频片段。

在一实施例中，对被检索视频的关键帧进行人脸检测及聚类的过程，包括：基于帧间差分法提取被检索视频中的关键帧；基于关键帧进行人脸检测及聚类，得到每张人脸的关键向量及其对应的唯一标识ID。

在一实施例中，基于帧间差分法提取被检索视频中的关键帧的过程，包括：计算被检索视频中每相邻两帧对应像素点的灰度值的差值；当差值大于预设阈值，选取后一帧图片作为关键帧。

在一实施例中，基于关键帧进行人脸检测及聚类，得到每张人脸的关键向量及其对应的唯一标识ID的过程，包括：利用CNN检测器算法，提取关键帧中的包含人脸图片的关键帧；检测包含人脸图片的关键帧中的人脸，并对每张人脸与包含该人脸图片的关键帧进行映射，得到每张人脸的多个人脸向量；利用聚类算法，对全部的人脸向量进行聚类，得到每张人脸的人脸向量簇；在每个人脸向量簇中选取至少一个关键向量，获取每一个关键向量的唯一标识ID。

在一实施例中，对被检索视频的所有关键图片帧进行时域分割聚合处理的过程，包括：对于每张人脸，利用预设间隔差阈值，将包含该张人脸的全部关键图片帧进行分组，得到每张人脸的多个帧分组及其视频时间段。

在一实施例中，建立向量数据库及Mysql数据库的过程，包括：将人脸向量及其对应的唯一标识ID存入向量数据库中；

将人脸向量的唯一标识ID及视频信息数据存入Mysql数据库，所述视频信息数据包括：基于每张人脸的每个帧分组及其视频时间段、视频路径。