[发明专利]一种情感激励下的视频关键帧自适应提取方法

摘要

本发明涉及一种情感激励下的视频关键帧自适应提取方法。从视频观看者情绪波动的角度考虑，通过计算视频帧的运动强度作为视频观看者观看视频时的视觉情感激励度，计算短时平均能量、音调作为听觉情感激励度，将听视觉情感激励度进行线性融合得到镜头内每个视频帧的视频情感激励度并生成镜头的视频情感激励度曲线；然后根据镜头的视频情感激励变化情况得到本镜头应分配到的视频关键帧数目KN；最后取视频情感激励度曲线情感激励度最高的前KN个波峰所对应的视频帧作为镜头关键帧。本发明的方法简单，从视频观看者情感变化的角度入手考虑，用视频情感激励度从语义从指导关键帧提取，所提取的视频关键帧更具有代表性以及有效性。

主权项

一种情感激励下的视频关键帧自适应提取方法，其特征在于：包括如下步骤，步骤S1：从视频镜头中提取出所有视频帧并计算每个视频帧的视觉情感激励度ArousalVisual；步骤S2：计算与步骤S1中每个视频帧同步的音频数据的听觉情感激励度ArousalAudio；步骤S3：通过线性加权的方式将视觉情感激励度与听觉情感激励度融合，二者权重相等，得出每个视频帧的视频情感激励度，最后根据各镜头的视频情感激励情况自适应地计算出镜头的视频关键帧数目KN；步骤S4：根据镜头内所有视频帧的视频情感激励度得到镜头的视频情感激励度曲线，在镜头的视频情感激励度曲线中选取视频情感激励度最高的前KN个波峰所对应的视频帧作为镜头的视频关键帧；所述步骤S1所述视频帧的视觉情感激励度ArousalVisual的提取，是根据视频帧的运动强度按照以下方案实现：步骤S11：用横向R‑1、纵向C‑1条平行线把每个视频帧分成R·C个子块，其中，R、C为自然数，且R>1，C>1；步骤S12：计算当前视频帧与相邻的前一帧在对应像素点的像素差绝对值，根据像素差值绝对值计算当前帧在该像素点的运动强度；用mpi,j表示像素点(i,j)的运动强度，若像素差值绝对值大于阈值Thpix，则认为该像素点发生运动，将mpi,j置为1，反之为0；步骤S13：根据所述子块内发生运动的像素比例来计算子块的运动强度；用mbi表示当前帧在第i个子块的运动强度，子块内发生运动的像素点比例超过阈值Thblock就认为该子块发生运动，将该子块的运动强度mbi置为1，反之为0；步骤S14：根据当前视频帧发生运动的子块数占所有子块数的比例来计算视频帧的运动强度，即视觉情感激励度