[发明专利]一种相似或重复视频检索的方法和装置

权利要求书

1.一种相似或重复视频检索装置，其特征包括应用程序模块、任务调度模块、基因提取模块和基因数据库模块，

应用程序模块用于用户界面展示以及生成用户检索请求等，

任务调度模块用于解析应用程序模块发起的任务请求，包括视频基因入库请求与相似视频检索请求，并分别生成相应的子任务给基因提取模块和基因数据库模块，

基因提取模块用于接收和处理来自任务调度模块的基因提取子任务，

基因数据库模块用于接收和处理来自任务调度模块的基因入库和检索子任务。

2.一种相似或重复视频检索的方法，其特征是使用如权利要求1所述的一种相似或重复视频检索装置，首先对视频库中所有视频提取视频基因，并插入Milvus向量数据库，检索时，同样提取待检索视频的基因并发起检索请求，基因数据库返回检索结果，具体包含视频基因入库和相似视频检索。

3.如权利要求2所述的一种相似或重复视频检索的方法，其特征是所述的视频基因入库包括以下步骤：

步骤1：应用程序模块发起视频基因入库请求；

步骤2：任务调度模块接收视频基因入库请求，并发起基因提取子任务请求到基因提取模块；

步骤3：基因提取模块提取视频基因并返回基因提取结果，提取视频基因具体包括：

1)利用ffmpeg开源工具对视频进行抽帧，抽帧的同时将图片缩放到224x224尺寸大小，抽帧图片保存在本地磁盘，抽帧间隔默认1秒，

2)将图片输入预训练好的深度学习模型resnet50，抽取中间表示层的特征，得到2048维的特征向量，

3)假设视频时长为N秒，步骤2)得到一个N*2048维向量组成的浮点数组，将该数组保存为pkl文件并返回；

步骤4：任务调度模块接收基因提取结果并发起基因入库子任务到基因数据库模块；

步骤5：基因数据库模块读取pkl文件并插入到向量数据库中，向量数据库会返回已插入向量对应的向量Id，将向量Id与视频Id的对应关系记录到MySQL数据库中。

4.如权利要求3所述的一种相似或重复视频检索的方法，其特征是所述的相似视频检索流程包括以下步骤：

步骤1：应用程序模块发起相似视频检索请求；

步骤2：任务调度模块接收相似视频检索请求，并发起基因提取子任务请求到基因提取模块；

步骤3：基因提取模块提取待检索视频基因并返回基因提取结果；

步骤4：任务调度模块接收基因提取结果，并发起基因检索子任务到基因数据库模块；

步骤5：基因数据库模块读取待检索视频基因文件，得到N*2048维向量，N表示待检索视频时长，使用该向量在向量数据库中发起检索，向量数据库返回每个2048维向量对应的topk个最相似的向量，得到N*topk个相似向量对应的向量Id和相似度，过滤其中向量相似度小于某个阈值的结果，并且相同向量Id仅保留相似度最大的结果；

步骤6：在MySQL数据库中查询过滤后相似向量Id对应的视频Id；

步骤7：统计查询结果中同一个视频Id出现的次数，该次数即为待查询视频与目标视频的相似图片数，将相似图片数分别除以待检索视频时长和目标视频时长，得到该目标视频与待查询视频的重合度，分别记为commonAB和commonBA，commonAB表示待检索视频与目标视频相似百分比，commonBA表示目标视频与待检索视频相似百分比；

步骤8：对步骤7所得结果结果以相似图片数按从大到小进行排序，取其中的topk个结果返回，得到最相似的topk个视频Id和对应的视频重合度commonAB、commonBA。