[发明专利]一种音频情感驱动下的体育视频精彩事件提取方法

摘要

本发明涉及一种音频情感的驱动下的体育视频精彩事件检测方法。本发明方法充分利用视频文件中的音频信息，首先利用两阶段的音频情感感知技术感知出音频中的高层情感语义；在第一阶段中构建了基于分层二叉树支持向量机的音频分类器，从底层音频特征中识别出中层情感类型；第二阶段中利用音频情感映射技术从中层音频类型中映射得到高层情感语义类型，得到高层情感语义后顺利挖掘到音频流中的高层情感语义波动序列；最终在音频情感波动序列的基础上结合静音以及激动情感语义定位出精彩事件。本发明的方法简单，利用音频情感从语义上驱动体育视频精彩事件的检测，所提取的体育视频精彩事件对于用户而言更加精彩更加有效。

主权项

一种音频情感驱动下的体育视频精彩事件检测方法，其特征在于：包括如下步骤，步骤S1：提取出源视频文件的音轨并将音轨分割成等长的基本单元；步骤S2：基于两阶段的音频情感感知技术感知出基本单元的中层音频类型以及高层情感语义类型，得到音频情感感知结果，并运用基于规则的平滑技术进行平滑处理，得到音频高层情感语义波动序列；步骤S3：在音频高层情感语义波动序列的基础上利用视频精彩事件定位算法定位出视频精彩事件；步骤S2中，所述的两阶段的音频情感感知技术按照以下方案实现：步骤S21：提取并分析音频基本单元的底层音频特征，其中，底层音频特征包括：过零率、短时平均能量、频谱流量、音调、Mel频率倒谱系数、静音比例、低频能量比、高过量比率、带宽；步骤S22：基于分层二叉树支持向量机构建一个音频分类器，利用该分类器从底层音频特征中识别出中层音频类型，其中，中层音频类型包括：欢呼声、鼓掌声、精彩解说声、其他解说、静音及其他共计六种类型；步骤S23：通过语义映射技术将中层音频情感类型映射为高层情感语义类型，从而感知出底层音频特征中蕴含的高层情感语义类型，其中，高层情感语义类型包括：激动、平缓共计两种类型；步骤S22中，所述的基于分层二叉树支持向量机的音频分类器的构建按照以下方案实现：构建一棵最优完全偏二叉树识别出欢呼声、鼓掌声、精彩解说声、其他解说、静音及其他这六种中层音频类型，且所述完全偏二叉树的构建过程中取中层音频类型作为叶子结点；所述的完全偏二叉树构建过程中每一层叶子结点的确定按以下方案实现：步骤S221：设M代表中层音频类型集合，即M＝{欢呼声，鼓掌声，精彩解说声，其他解说，静音，其他}；对于M中的任一类Mk，计算Mk与其他剩余类Mj之间的欧式距离此时，Mk是正类，Mj是负类；可表示为：其中，dkj表示Mk与Mj之间的欧式距离，用Mk与Mj之间的中心距离表示；步骤S222：计算负类中所有不同类之间的平均欧式距离，也即：步骤S223：取上述两个距离及之和作为Mk类的排斥距离D，即计算M中每个类的排斥距离，取排斥距离最大的类作为当前层的叶子结点，并且将该类从M中剔除。