[发明专利]基于人工智能的相似视频处理方法、装置及电子设备

权利要求书

1.一种基于人工智能的相似视频处理方法，其特征在于，所述方法包括：

对视频中的图像进行多个维度的特征提取处理，将提取得到的多个维度的特征向量进行融合处理，得到所述图像的图像向量；

对所述视频中的音频进行特征提取处理，得到音频向量；

对所述视频中的文本进行特征提取处理，得到文本向量；

对所述图像向量、所述音频向量及所述文本向量进行融合处理，得到所述视频的视频表示向量；

将任意两个视频的视频表示向量之间的向量相似度，作为所述两个视频之间的视频相似度；

根据所述视频相似度，对所述两个视频进行处理。

2.根据权利要求1所述的方法，其特征在于，

所述多个维度的特征向量包括目标特征向量、场景特征向量及人脸特征向量；

所述对视频中的图像进行多个维度的特征提取处理，包括：

通过多分类的目标检测模型对所述图像进行特征提取处理，得到所述目标特征向量；

通过场景识别模型对所述图像进行特征提取处理，得到所述场景特征向量；

通过二分类的人脸检测模型对所述图像进行特征提取处理，得到所述人脸特征向量。

3.根据权利要求2所述的方法，其特征在于，所述将提取得到的多个维度的特征向量进行融合处理，得到所述图像的图像向量，包括：

根据所述视频的视频主题，确定所述目标特征向量、所述场景特征向量及所述人脸特征向量的权重；

对所述目标特征向量、所述场景特征向量及所述人脸特征向量进行加权处理，得到所述图像的图像向量；

其中，所述视频主题为所述目标检测模型对应的目标、所述场景识别模型对应的场景、以及所述人脸检测模型对应的人脸中的任意一种；符合所述视频主题的向量的权重大于不符合所述视频主题的向量的权重。

4.根据权利要求1所述的方法，其特征在于，所述方法还包括：

对所述视频中多个图像的图像向量进行融合处理，得到整体图像向量；

对所述视频中所述多个图像对应的音频向量进行融合处理，得到整体音频向量；

对所述视频中多个文本的文本向量进行融合处理，得到整体文本向量；

所述对所述图像向量、所述音频向量及所述文本向量进行融合处理，得到所述视频的视频表示向量，包括：

对所述整体图像向量、所述整体音频向量及所述整体文本向量进行融合处理，得到所述视频的视频表示向量。

5.根据权利要求4所述的方法，其特征在于，

所述视频中用于进行特征提取处理的图像包括封面图像以及经过抽帧处理得到的多个抽帧图像；

所述对所述视频中多个图像的图像向量进行融合处理，得到整体图像向量，包括：

对所述多个抽帧图像的图像向量进行加权处理，得到全局图像向量；

将所述全局图像向量与所述封面图像的图像向量进行拼接处理，得到整体图像向量。

6.根据权利要求5所述的方法，其特征在于，所述方法还包括：

对所述视频中的多个视频帧图像进行遍历处理，并针对遍历到的视频帧图像执行以下处理：

当所述遍历到的视频帧图像与相邻的视频帧图像在图像参数上的差异大于差异阈值时，将所述遍历到的视频帧图像作为抽帧处理得到的抽帧图像，并

将与所述遍历到的视频帧图像相隔设定间隔的视频帧图像，作为抽帧处理得到的抽帧图像；

其中，所述图像参数为亮度、对比度、清晰度及分辨率中的任意一种。

7.根据权利要求5所述的方法，其特征在于，

所述对所述视频中所述多个图像对应的音频向量进行融合处理，得到整体音频向量，包括：

对所述多个抽帧图像对应的音频向量进行加权处理，得到整体音频向量；

所述对所述视频中多个文本的文本向量进行融合处理，得到整体文本向量，包括：

对所述视频的标题文本的文本向量、摘要文本的文本向量、以及所述多个抽帧图像中的文本的文本向量进行拼接处理，得到整体文本向量。