[发明专利]一种基于多尺度时序特征的视频摘要生成方法和装置

说明书

本申请实施例提供一种基于多尺度时序特征的视频摘要生成方法和装置。该方法包括：利用预训练的视频摘要生成模型，获取多尺度时序融合特征序列；利用预训练的视频摘要生成模型，确定多尺度时序融合特征序列中的各视频帧的重要性得分；基于镜头切分算法，将多尺度时序融合特征序列切分为以基本镜头为单位的基本片段集；利用预训练的视频摘要生成模型，基于各重要性得分和基本片段集，动态选取基本片段集中的核心片段；利用预训练的视频摘要生成模型，基于核心片段，生成动态视频摘要，并输出。该方案利用无监督训练得到的视频摘要生成模型，可抽取视频关键帧，获取具有多样性和代表性的视频摘要，减少人工干预工作量，有助于视频检索和视频监控。

技术领域

本说明书一个或多个实施例涉及计算机视觉技术领域，尤其涉及一种基于多尺度时序特征的视频摘要生成方法和装置。

背景技术

随着移动互联网和视频监控等领域的发展，视频记录设备每时每刻都在产生大量视频，视频数据量出现爆发式增长。通常而言，管理人员需要充分观看视频才能了解其主要内容，筛选有效片段。

在基于视频内容的快速浏览、视频检索和视频监控等新兴多媒体服务中，如何高效地从海量视频中获取关键信息成为了当下亟待解决的问题之一。

发明内容

有鉴于此，本说明书一个或多个实施例的目的在于提出一种基于多尺度时序特征的视频摘要生成方法、装置、设备以及存储介质，以解决如何高效地从海量视频中获取关键信息的问题。

基于上述目的，本说明书一个或多个实施例提供了一种基于多尺度时序特征的视频摘要生成方法，其特征在于，包括：

利用预训练的视频摘要生成模型，获取多尺度时序融合特征序列；

利用预训练的视频摘要生成模型，确定多尺度时序融合特征序列中的各视频帧的重要性得分；

基于镜头切分算法，将多尺度时序融合特征序列切分为以基本镜头为单位的基本片段集，其中，基本片段集中的每一个基本片段包括至少一个视频帧；

利用预训练的视频摘要生成模型，基于各重要性得分和基本片段集，动态选取基本片段集中的核心片段；

利用预训练的视频摘要生成模型，基于核心片段，生成动态视频摘要，并输出。

进一步地，方法还包括：

获取目标源视频序列；

根据目标源视频序列和预训练的多目标分类模型，确定目标源视频帧特征向量序列；

对目标源视频帧特征向量序列进行抽样和归一化压缩编码，得到尺寸统一的压缩编码特征序列；

对压缩编码特征序列进行多尺度时序融合，得到多尺度时序融合特征序列。

进一步地，对压缩编码特征序列进行多尺度时序融合，得到多尺度时序融合特征序列，包括：

对压缩编码特征序列进行多层级时序感知，提取压缩编码特征序列对应的多层级短时特征向量序列；

基于多层级短时特征向量序列和多分支关联分析网络，确定多尺度时序融合特征序列。

进一步地，基于多层级短时特征向量序列和多分支关联分析网络，确定多尺度时序融合特征序列，包括：

利用多分支关联分析网络对多层级短时特征向量序列进行关联系数计算、权重向量编码以及特征归一化处理，得到多分支对应的长时特征向量序列；

将多分支对应的各长时特征向量序列进行维度融合，经全连接得到和目标源视频序列尺度一致的多尺度时序融合特征序列。

进一步地，方法还包括：