[发明专利]一种基于相对位移约束的智能裁剪视频重定向方法

权利要求书

1.一种基于相对位移约束的智能裁剪视频重定向方法，其特征在于，包括：

步骤1：通过场景检测将原始视频帧分为若干个视频组；计算视频帧的空间显著度图和运动历史图，自适应融合生成最终的重要度图；通过SIFT匹配算法和RANSAC方法得到帧与帧之间正确的特征匹配点，获得帧与帧之间的相对位移；其中，

获取运动历史图的方法为：首先采取光流法获得每一帧的运动显著度图，当前帧的运动历史图为其本身运动显著度图与其前两帧及后两帧的运动显著度图的累加，并在每一帧的运动显著度图前设定系数，离当前帧越远的帧的系数越小，以弱化较远帧对当前帧的影响，式中，ST_t为运动历史图，M_t为运动显著度图，ω_k为系数因子；t代表当前帧；

通过自适应融合生成最终的重要度图，包括：通过自适应融合空间显著度图与运动历史图，得到最后的重要度图，S_t＝λ_t*ST_t+λ_m*SM_t，其中，ST_t为运动历史图，SM_t为空间显著度图，max(ST_t)为运动历史图ST_t的最大值，mean(ST_t)为运动历史图ST_t中各像素点的平均值；

步骤2：根据步骤1获得的重要度图指导视频组内的视频帧的视觉信息损失量度，计算兼顾裁剪损失和缩放损失的总视觉信息损失；总视觉信息损失为：

将总视觉信息损失定义为裁剪损失与缩放损失之和：E₁＝λ_cL_c+λ_sL_s，其中λ_c、λ_s为平衡参数，且λ_c+λ_s＝1；

通过给定参数λ_c、λ_s，进而最小化总视觉信息损失，得到最优裁剪窗口参数P(x′_t,y′_t,s')，即：

其中，W₀、H₀为原始视频帧的宽度和高度，W_r、H_r为重定向视频的宽度和高度，W、H为裁剪窗口的宽度和高度，s为缩放因子；

步骤3：将根据步骤1计算得到的相对位移参数以及人能够容忍的最大不一致的限度系数，构成3个帧与帧之间的时间约束项，并据此对系统进行联合优化求解，求解在约束条件下使得总视觉信息损失最小时，所得到的缩放因子和裁剪窗口；联合优化求解，具体为：

在考虑相邻帧裁剪窗口之间的能量约束的同时，还兼顾对重要对象的保护，得到最终的优化能量E，将其表示为：

其中，N为视频的总帧数，V_t表示当前帧的裁剪窗口的左上顶点坐标，V_t＝(x_t,y_t)，V_t-1表示当前帧的裁剪窗口的左上顶点坐标，V_t-1＝(x_t-1,y_t-1)，为视觉信息损失，为时间能量约束项，D(V_t,V_t-1)为相邻帧的裁剪窗口的二范式距离，为D(V_t,V_t-1)＝|V_t-V_t-1|₂，为视觉信息损失与时间能量约束项的平衡参数，ξ为观者所能容忍的最大视觉不一致的阈值，Δx为相邻两帧间相对位移的横坐标偏移量，Δy为相邻两帧间相对位移的纵坐标的偏移量；

求解出总能量最小时，如下式每一帧的裁剪窗口位置即左上顶点坐标以及缩放因子，利用坐标和缩放因子即可进行视频帧的缩放，

步骤4：通过判断视频组内的当前帧与前一帧的裁剪窗口的位置坐标的差值是否超过人能够容忍的最大不一致的限度，判断是否出现跳变帧，若出现则对该帧的重要度图进行平滑，及将其所在视频组回到步骤3进行优化处理，再次求解缩放因子和裁剪窗口，随后执行步骤5，若未出现跳变帧，则直接执行步骤5；

步骤5：根据步骤4得到的每一个视频组的裁剪窗口的位置、大小和对应的缩放因子，对裁剪窗口的内容进行重定向到目标尺寸。