[发明专利]一种基于特定人物时空轨迹的视频横屏转竖屏方法

权利要求书

1.一种基于特定人物时空轨迹的视频横屏转竖屏方法，其特征在于，包括步骤：

S1，基于low-level颜色特征差异和high-level语义特征差异进行镜头分割；

S2，基于分割后的镜头，进行跨场景目标人物时空轨迹估计；

步骤S2包括子步骤：

S201，在单一镜头中对目标人物时空轨迹进行估计，设当前镜头s_j共有图像K张，使用基于深度学习的目标跟踪器对在当前镜头的每一帧预测目标人物位置，对在当前镜头的每一帧预测目标人物位置，得目标人物在当前镜头的跟踪边框序列其中为当前镜头s_j的初始目标人物边框，用于设定跟踪器在当前镜头的跟踪对象；

S202，使用当前镜头的跟踪边框序列利用行人重识别模型提取目标人物空间特征并融合得到目标人物在当前镜头的时空特征；

S203，使用基于深度学习的行人检测器，在下一镜头的首张图像中生成下一镜头跟踪目标人物候选，并使用S202中的行人重识别模型对每个候选提取空间特征，并使用当前镜头的目标人物时空特征进行比对，取相似度最高的候选为下一镜头的跟踪对象；

S204，在下一镜头中，执行步骤S201，S202，S203，以此类推，直到对所有镜头处理完毕，得到目标人物在总计N张RGB图像序列V中的所有跟踪边框，记作

J代表分割好的镜头序列的总数；

S3，基于估计结果，进行目标人物展示区域重构；

步骤S3包括子步骤：

S301，获取每个镜头的目标人物时空轨迹，具体地，对当前镜头s_j的跟踪边框序列设第k个边框在其对应图像中的坐标为{x₁，y₁，x₂，y₂}，则计算得到当前镜头的第k个轨迹点：

则当前镜头中目标人物的轨迹点表示为

S302，根据步骤S301中所得当前镜头目标人物的平滑轨迹，重构以目标人物为展示目的的9:16竖屏画面序列。

2.根据权利要求1所述的基于特定人物时空轨迹的视频横屏转竖屏方法，其特征在于，步骤S1包括子步骤：

S101，设有已解码的总共N张RGB图像序列其中x_i表示第i张图像，将每张RGB图像颜色空间转换到HSV颜色空间，记作再计算上一张HSV图像与当前HSV图像的颜色特征差异D_c，即：

D_c＝avg(sum(abs(h_i-h_i-1)))

其中avg表示计算均值，sum表示求和，abs表示取绝对值，h_i和h_i-1分别表示当前HSV图像和上一张HSV图像；

S102，使用在imagenet上预训练的VGG19分类模型，通过替换原始模型中的末尾的池化层和全连接层为一个全局平均池化层，使得模型输出宽、高均为1的特征图，对RGB图像序列中的每一张图像x_i使用该模型进行特征提取，得图像语义特征集合其中f_i为第i张RGB图像提取到的图像语义特征，通过计算当前RGB图像与上一张RGB图像的特征差异D_s，即：

其中f_i-1表示上一张RGB图像的图像语义特征，‖·‖表示特征的膜；

S103，通过设计以下公式来融合low-level颜色特征差异和high-level语义特征差异，得到最终的图像表征差异D_r，即：

D_r＝α*D_c+(1-α)*D_s，

其中α为权重，用于平衡两种差异；

S104，对RGB图像序列中的每相邻两帧x_i和x_i-1，计算图像表征差异D_r，当D_r≥t时，表明第i张图像是新镜头的第一张图像，则i-1即为当前镜头的出点，以此类推，得到分割好的镜头序列其中s_j表示第j个镜头，J为镜头总数，t为判断阈值。