[发明专利]基于空时显著性分类和融合的视频重定向质量评价方法

权利要求书

1.一种基于空时显著性分类和融合的视频重定向质量评价方法，其特征在于，包括：

S1、根据视频的空时显著性构建一个视频分类模型，根据原始视频的运动信息和前景信息将视频分为四类：显著区域运动视频、无显著区域运动视频、显著区域静止视频和无显著区域静止视频；

S2、提取原始视频的显著信息、边缘特征、前景信息和运动特征，并采用感知几何失真、边缘组相似度、时间连续性相似失真和重要目标时间失真四个时空指标对重定向视频的质量进行评估；采用感知几何失真PGD和边缘组相似度EGS对重定向视频内容的空间失真SD进行评估，其中PGD用于评估重定向视频内容的几何失真，EGS用于评估重定向视频内容的结构失真；采用时间连续性相似失真TCD和重要目标时间失真OTD对重定向视频的时间失真TD进行评估，其中TCD用于评估重定向视频内容的信息丢失相似程度，OTD用于评估重定向视频中重要内容的时间连续性失真；

时间连续性相似失真TCD指标考虑视频内容的运动情况，通过SIFT方法对重定向视频的相邻帧进行拼接，从而得到相邻视频帧之间的重合区域，根据原始视频帧的反向注册图来计算相邻帧重合区域对应位置的信息丢失的相似程度来衡量重定向视频的时间连续性，计算方式为：

步骤S211：将原始视频和重定向视频的第k帧和第k+1帧分别表示为：和根据SIFT方法，对重定向前后的视频帧进行像素点匹配，得到重定向视频相邻帧的反向注册图和并得到原始视频相邻帧的拼接图

步骤S212：根据原始视频相邻帧的拼接图得到相邻帧之间的重叠区域并得到拼接图的重要度图

步骤S213：根据重定向相邻帧的反向注册图和删除视频内容，得到重定向过程中的丢失信息，即无内容的反向注册图和

步骤S214：根据重叠区域，对无内容的反向注册图以及拼接图的重要度图进行裁剪，得到重定向视频相邻帧重合区域的信息损失图和从而得到重叠区域的重要度图G；

步骤S215：以重叠区域的重要度值为权重，根据式(1)，计算重定向视频相邻帧重合区域的信息损失图的距离，即得到TCD值；

其中，(i,j)是像素点坐标，G(i,j)是在像素点(i,j)处的重要度值，W、H分别为无内容反向注册图的宽和高，k为重定向视频当前帧数，K为非零数；

重要目标时间失真OTD指标为：通过评估重定向视频相邻帧的重要度图的对应像素点的位置变化情况，从而衡量重定向视频中重要区域内容的时间失真情况，计算方式为：

步骤S221：根据重定向视频的第k帧和第k+1帧，得到相邻视频帧的重要度图和

步骤S222：根据原始视频的第k帧和第k+1帧，采用SIFT像素点匹配方法得到原始视频相邻帧之间像素点的对应位置关系图

步骤S223：采用SIFT方法，得到原始视频帧与重定向视频帧之间的像素映射关系图W_o→r，根据W_o→r对进行变形，得到重定向视频相邻帧之间的像素映射关系

步骤S224：根据像素映射关系和相邻视频帧的重要度图，计算相邻帧重要度图的对应像素点的位置变化程度，即为OTD值，计算如式(2)所示：

其中，M,N为重定向视频的宽和高，是重定向视频第i帧在点(i,j)的重要度值，是重定向视频第i-1帧对应像素点(i',j')的重要度值；

步骤S225：将得到的所有帧间的OTD进行归一化处理，并取均值，使其在[0，1]之间，即为整个重定向视频的OTD值；

S3、对不同类别的视频采用不同的自适应赋予权重方法，将四种时空指标的质量分数融合得到重定向视频的整体客观质量。