[发明专利]一种基于原型视频的短视频自动编辑方法

权利要求书

1.一种基于原型视频的短视频自动编辑方法，其特征在于，包括：

S1：对输入视频进行帧采样得到多个输入视频帧，分别利用YOLOv3和Alphapose方法对多个输入视频帧进行处理得到多个基体特征，将多个基本特征输入至随机森林或决策树模型得到带有标签的高级特征输入视频；

S2：从原型数据库中选择第一原型视频集，基于视频结构相似性度量从第一原型视频集中选择与高级特征输入视频的视频相似度分数最高的原型视频作为第一原型视频；

S3：如果第一原型视频与高级特征输入视频的视频相似度分数低于视频相似度分数阈值，则基于第一原型视频与原型数据库中其他原型视频的兼容性距离度量得到第一原型视频与其他原型视频的动态兼容因子，将高于动态兼容因子阈值的原型视频作为第二原型视频集，并将第二原型视频集中与高级特征输入视频相似度分数最高的原型视频作为第二原型视频；

第一原型视频与高级特征输入视频的视频相似度分数VSSIM(S_s-S_t)为：

其中，S_s为第一原型视频，S_t为高级特征输入视频，a为高级特征，FSIM^a(S_s,S_t)为基于高级特征a的第一原型视频与高级特征输入视频的特征相似度，len(s)为是视频长度，第一原型视频与高级特征输入视频的长度相同，为第一原型视频在视频长度为i高级特征a下的每对标签之间的距离，为高级特征输入视频在视频长度为i高级特征a下的每对标签之间的距离，w^a为高级特征a的权重；

第一原型视频与其他原型视频的动态兼容因子DC(S_c,S_t)为：

其中，S_c为其他原型视频，CDIS^a(S_s,S_c)为基于高级特征a的第一原型视频与原型数据库中其他原型视频的兼容性距离度量分数；

基于高级特征a的第一原型视频与原型数据库中其他原型视频的兼容性距离度量分数CDIS^a(S_s,S_c)为：

其中，为高级特征a的第一原型视频的各个标签的频率分布，为高级特征a的其他原型视频的各个标签的频率分布，为高级特征a的第一原型视频的第i个标签的频率，为高级特征a的其他原型视频的第i个标签的频率，n为标签数量；

采用维特比算法选择各个高级特征目标子视频中的最终候选镜头是基于高级特征目标子视频序列与最终原型视频的最大平均视频相似度分数确定的，最大平均视频相似度分数为：

其中，ω_i,j为第i个高级特征目标子视频的第j个候选镜头与高级特征输入视频相似度分数，k为候选镜头数量；

S4：迭代步骤S2，S3，将满足视频相似度分数阈值的多个第一最终原型视频作为第一最终原型视频集；

S5：将高级特征输入视频划分为高级特征目标子视频序列，将每个高级特征目标子视频划分为多个高级特征镜头，将第一最终原型视频分为多个目标镜头，基于视频结构相似性度量，在每个高级特征目标子视频中选择与每个目标镜头的视频相似度分数最高的高级特征镜头作为候选镜头，删除各个高级特征目标子视频中的重复候选镜头，然后采用维特比算法选择各个高级特征目标子视频中的最终候选镜头，从而得到最终短视频。

2.根据权利要求1所述的基于原型视频的短视频自动编辑方法，其特征在于，分别利用YOLOv3和Alphapose方法对多个输入视频帧进行处理得到多个基体特征，包括：

利用YOLOv3方法提取多个输入视频帧的人物基本特征，利用Alphapose方法提取多个输入视频帧的感兴趣区域特征，人物基本特征和感兴趣区域特征构建了多个基本特征。

3.根据权利要求1所述的基于原型视频的短视频自动编辑方法，其特征在于，将多个基本特征输入至随机森林或决策树模型得到带有标签的高级特征输入视频，包括：

所述的高级特征包括方向、运动强度、姿态和框架中景别，将基本特征输入至随机森林或决策树模型中得到了被标签标记的高级特征输入视频。

4.一种基于原型视频的短视频自动编辑方法，其特征在于，包括：

S1：对输入视频进行帧采样得到多个输入视频帧，分别利用YOLOv3和Alphapose方法对多个输入视频帧进行处理得到多个基体特征，将多个基本特征输入至随机森林或决策树模型得到带有标签的高级特征输入视频；

S2：获得第二最终原型视频集，所述第二最终原型视频集为用户从原型数据库中选择的第二原型视频；

从原型数据库中选择第一原型视频集，基于视频结构相似性度量从第一原型视频集中选择与高级特征输入视频的视频相似度分数最高的原型视频作为第一原型视频；

如果第一原型视频与高级特征输入视频的视频相似度分数低于视频相似度分数阈值，则基于第一原型视频与原型数据库中其他原型视频的兼容性距离度量得到第一原型视频与其他原型视频的动态兼容因子，将高于动态兼容因子阈值的原型视频作为第二原型视频集，并将第二原型视频集中与高级特征输入视频相似度分数最高的原型视频作为第二原型视频；

将高级特征输入视频划分为高级特征目标子视频序列，将每个高级特征目标子视频划分为多个高级特征镜头，将第二最终原型视频分为多个目标镜头，基于视频结构相似性度量，在每个高级特征目标子视频中选择与每个目标镜头的视频相似度分数最高的高级特征镜头作为候选镜头，删除各个高级特征目标子视频中的重复候选镜头，然后采用维特比算法选择各个高级特征目标子视频中的最终候选镜头，从而得到最终短视频。