[发明专利]一种基于关注度分析的音视频文件摘要方法

说明书

技术领域

本发明涉及音视频分析领域，更进一步涉及基于内容的音视频摘要分析领域，特别是一种基于关注度分析的音频文件摘要方法和基于此方法的音视频文件摘要方法。

背景技术

音视频数据作为一种动态、直观、形象的数字媒体承载了大量丰富的语义信息，越来越多地出现在各类信息服务和应用场合，如何自动而高效地从大量音视频数据中挖掘出有效内容信息，建立音视频摘要和提取其中的精彩片段已成为当前基于内容的音视频分析领域一个前沿问题。

音视频数据是以非结构化形式存储的。通过建立音视频摘要、提取其中精彩片段一方面可以方便用户对音视频数据库内容进行基于语义的快速检索、浏览，有利于多媒体数字图书馆的建设。另一方面随着个人数字移动设备(手机、掌上电脑、商务通等)中多媒体技术的大量应用，也可以满足不断增加的人们对随时随地浏览音视频数据的要求。而且，无线传输设备带宽的限制，要求能够用有限的带宽成本来获得最有价值即最精彩的信息以节省下载花费，音视频摘要技术满足了这种移动用户定制需求。

当前基于内容的音视频分析主要分为两类：一类是针对视频中客观事实的理解，所分析的对象是具有客观属性的，不以人的情绪变化或个体间的差异而发生改变；另一类是对音视频文件中传达的情感信息进行理解，是基于人们对音视频的主观感知来进行分析的。本发明关注后者。音视频中的一些片段通常会比其他部分内容更多地吸引观众的注意力，引起观众共鸣，影响其情绪变化，这些片段具有较高的情感关注度(attention)。情感关注度分析，也可称为注意力分析，就是要从音视频文件中自动获得这些具有较高关注度的片段，以帮助生成音视频摘要，便于音视频传输和个性化定制。

在现有技术中，虽然已有一些对音视频文件中音频关注度进行分析的工作，但他们在对听觉模态关注度方面的研究还很不够。目前在音频关注度分析方面较为典型的工作是文章A generic framework of user attentionmodel and its application in video summarization.Yu fei Ma，Xian sheng Hua，Lulie，Hong jiang Zhang，IEEE transaction on multimedia，2005中提到的方法，该方法较为简单，其主要内容如下：

首先，采用使用单一分类器结合音频底层特征进行训练与测试将视频文件中的音频进行分类；

然后，根据所述音频分类结果，对视频中的典型声音类型建立关注度分析模型，得到各声音类型的关注度曲线；

从底层特征角度出发对音频中影响用户关注度的主要因素——音量元素与音量变化元素进行自底向上(bottom-up)建模：

其中和分别为归一化的音频平均能量与归一化的音频平均能量峰值；E_avr和E_peak分别为音频平均能量与平均能量峰值；MaxE_avr和MaxE_peak分别为二者的最大值。

使用中层情感特征M_speech与M_music对音频中影响用户关注度的语音与音乐因素进行自顶向下(top-down)建模：

Mspeech=NspeechwNtotalw;]]>

Mmusic=NmusicwNtotalw。]]>