[发明专利]一种基于原型视频的短视频自动编辑方法

说明书

本发明公开了一种基于原型视频的短视频自动编辑方法，包括：对输入视频进行帧采样得到多个基体特征，将多个基本特征输入至随机森林或决策树模型得到带有标签的高级特征输入视频；从原型数据库中选择与高级特征输入视频的视频相似度分数最高的原型视频；计算原型视频与原型数据库中其他原型视频的兼容性距离度量得到动态兼容因子，基于动态兼容因子将满足视频相似度分数阈值的原型视频作为最终原型视频；基于视频结构相似性度量，在每个高级特征目标子视频中选择与每个目标镜头的视频相似度分数最高的高级特征镜头作为候选镜头，采用维特比算法选择最终候选镜头，从而得到最终短视频。该方法能够帮助用户灵活、简单的制作所需风格的短视频。

技术领域

本发明属于人机交互技术领域，具体涉及一种基于原型视频的短视频自动编辑方法。

背景技术

随着电商平台的日益普及，网购需求大幅增加，电商行业短视频的需求急剧增加，目前商品平台都支持在商品详情页中插入产品展示视频。视频需求增加的同时也为视频制作带来了一些问题，可以看到电子商务领域的商品特别是服装类商品迭代速度很快，通常一个季度就需要全部更新一遍，一个商家通常拥有几千件商品。如此快的迭代速度和如此庞大的商品数量，让传统的视频制作方式难以满足。

市场上虽然也有一些对视频进行自动剪辑的系统，但基本都是根据视频长度等简单特征拼接视频片段，并没有理解分析视频内容，也没有考虑片段之间的连贯性和整体性。近年来，计算机展现了理解和生成多媒体内容的能力，研究人员试图将视频编辑过程自动化，如在3D环境中控制摄像机以及为课堂讲座或某些社交聚会场景自动编辑视频，总是与剪辑规则、电影的视听语言等知识相结合，以确保合成视频的连续性。这些方法将通用的电影编辑规则与特定场景相关的指南相结合，以产生合成结果。然而，这些规则和指导方针只能帮助在固定的时间段内选择合适的镜头。在这种情况下，每个视频片段都有它应该出现的指定时间点。但是，编辑电商服装视频更加灵活，如果没有限制，镜头可以放在任何地方，而且可以是任意长度，在这种情况下，每个镜头的搜索空间要大得多。

数字产品展示会影响消费者在购买时的决策，尤其是在服装电子零售环境中。与常用的基于文本的格式相比，视频格式呈现出相对更逼真的视觉提示和动态运动，用于传达对消费者感知产生强大影响的产品体验。根据思科年度视觉网络指数报告，视频预计占消费者互联网流量的82％以上。然而，手动视频编辑是一个极其耗时且费力的过程，需要大量专业知识。它需要将输入视频片段分割成镜头，并在时间轴上排列这些镜头以构建强大的叙事。剪辑师会做出一系列谨慎的决定，以考虑每个镜头的内容、相机运动和视觉质量，这对于在线零售商等新手剪辑师来说很难。

因此亟需研发一种视频处理方法，能够解决视频剪辑专业性较强，无法实时获得符合客户所需风格的视频。

发明内容

本发明提供一种基于原型视频的短视频自动编辑方法，该方法能够帮助用户灵活、简单的制作所需风格的短视频。

一种基于原型视频的短视频自动编辑方法，包括：

S1：对输入视频进行帧采样得到多个输入视频帧，分别利用YOLOv3 和Alphapose方法对多个输入视频帧进行处理得到多个基体特征，将多个基本特征输入至随机森林或决策树模型得到带有标签的高级特征输入视频；

S2：从原型数据库中选择第一原型视频集，基于视频结构相似性度量从第一原型视频集中选择与高级特征输入视频的视频相似度分数最高的原型视频作为第一原型视频；

S3：如果第一原型视频与高级特征输入视频的视频相似度分数低于视频相似度分数阈值，则基于第一原型视频与原型数据库中其他原型视频的兼容性距离度量得到第一原型视频与其他原型视频的动态兼容因子，将高于动态兼容因子阈值的原型视频作为第二原型视频集，并将第二原型视频集中与高级特征输入视频相似度分数最高的原型视频作为第二原型视频；

S4：迭代步骤S2，S3，将满足视频相似度分数阈值的多个第一最终原型视频作为第一最终原型视频集；