[发明专利]一种基于特定人物时空轨迹的视频横屏转竖屏方法

说明书

本发明公开了一种基于特定人物时空轨迹的视频横屏转竖屏方法，包括步骤：S1，基于low‑level颜色特征差异和high‑level语义特征差异进行镜头分割；S2，基于分割后的镜头，进行跨场景目标人物时空轨迹估计；S3，基于估计结果，进行目标人物展示区域重构。本发明可以自动高效的从横屏视频中，以该特定人物为展示目的，将原16:9的横屏视频转换为9:16的竖屏视频，针对手机端短视频app进行发布，不需要使用者具备视频编辑能力，有效降低人工编辑成本。

技术领域

本发明涉及视频编辑领域，更为具体的，涉及一种基于特定人物时空轨迹的视频横屏转竖屏方法。

背景技术

随着手机的飞速发展并凭借其便捷的单手持握方式，越来越多的用户习惯于使用手机观看视频，手指轻轻地上下一划，便可快速切换到其他视频，正是伴随着这一简单的操作逻辑，各种短视频app爆火全球，而短视频的火爆，又反过来带动对竖屏视频的需求，但并非所有视频从制作之初便是针对竖屏条件下观看而设计拍摄的。一般的，此类横屏视频需要在后期人工使用视频编辑软件进行编辑转换，难免费时费力。

发明内容

本发明的目的在于克服现有技术的不足，针对背景技术中提出的问题，提供一种基于特定人物时空轨迹的视频横屏转竖屏方法，可以自动高效的从横屏视频中，以该特定人物为展示目的，将原16:9的横屏视频转换为9:16的竖屏视频，针对手机端短视频app进行发布，不需要使用者具备视频编辑能力，有效降低人工编辑成本。

本发明的目的是通过以下方案实现的：

一种基于特定人物时空轨迹的视频横屏转竖屏方法，包括步骤：

S1，基于low-level颜色特征差异和high-level语义特征差异进行镜头分割；

S2，基于分割后的镜头，进行跨场景目标人物时空轨迹估计；

S3，基于估计结果，进行目标人物展示区域重构。

进一步地，步骤S1包括子步骤：

S101，设有已解码的总共张图像序列，其中表示第张图像，将每张图像颜色空间转换到颜色空间，记作，再计算上一张图像与当前图像的颜色特征差异，即：

其中表示计算均值，表示求和，表示取绝对值，和分别表示当前图像和上一张图像；

S102，使用在imagenet上预训练的VGG19分类模型，通过替换原始模型中的末尾的池化层和全连接层为一个全局平均池化层，使得模型输出宽、高均为1的特征图，对图像序列中的每一张图像使用该模型进行特征提取，得图像语义特征集合，其中为第张图像提取到的图像语义特征，通过计算当前图像与上一张图像的特征差异，即：

其中表示上一张图像的图像语义特征，表示特征的膜；

S103，通过设计以下公式来融合low-level颜色特征差异和high-level语义特征差异，得到最终的图像表征差异，即：

，

其中为权重，用于平衡两种差异；

S104，对图像序列中的每相邻两帧和，计算图像表征差异，当时，表明第张图像是新镜头的第一张图像，则即为当前镜头的出点，以此类推，得到分割好的镜头序列，其中表示第个镜头，为镜头总数，为判断阈值。

进一步地，步骤S2包括子步骤：