[发明专利]基于张量表示的多模态视频语义概念检测方法

说明书

技术领域

本发明涉及一种基于张量表示的多模态视频语义概念检测方法。该方法将视频镜头表示为3阶张量，并寻找有效的降维方法将其投影到低维语义空间，从而通过训练分类器模型实现对视频张量镜头的语义概念检测，属于视频语义分析与理解领域。

背景技术

随着各种数字影像设备的发展和普及，以及电影电视行业、计算机技术、通信技术、多媒体处理技术、压缩编码技术和互联网等的飞速发展，在新闻、电影、历史文献和监控等领域产生了大量的视频数据。视频数据蕴含了任务、场景、对象和事件等丰富的语义，同时视频又是时序数据，视频中存在图像、音频和文本三种媒质数据，并呈现时序关联共生特性。同时，多种模态的融合与协作对于减小底层特征与高层语义之间的“语义鸿沟”也起到重要的作用。如何有效利用视频的多模态及时序特性来挖掘其语义信息，从而支持视频的有效检索，发挥视频数据的资源共享优势，是一个具有挑战性的研究问题。

对于如何表达视频中多模态媒质，传统的方法是将图像、音频及文本特征用拼接向量来表示。不过这种高维向量往往会导致“维数灾难”的问题，并且视频中多种模态间的时序关联共生的关系也会被忽略。近年来，多线性几何-即高阶张量已经广泛应用到计算机视觉、信息检索及信号处理等领域。张量是对向量和矩阵的一种自然的扩展和延伸，并且张量几何已经定义了一系列基于向量空间集合的多线性运算。同时，以张量作为输入的有监督张量学习框架采用交替投影优化步骤来求解最优解，是凸优化和多线性几何运算的结合。基于有监督张量学习框架，可以将传统的支持向量机扩展到支持张量机，实现分类器模型的训练和应用。

发明内容

本发明的目的是提供一种基于张量表示的多模态视频语义概念检测方法。包括如下步骤：

1)对训练集合及测试集合中的视频镜头均提取图像、音频、文本三种模态的底层特征，每个视频张量镜头由这三种底层特征形成3阶张量来表达；

2)根据视频张量镜头集合的流形空间本征结构，通过寻找转换矩阵实现对原始高维张量的维度降低及子空间嵌入；

3)采用支持张量机对降维后的视频张量镜头集合建立分类器模型；

4)对于测试镜头，由训练集合计算得到的转换矩阵进行投影后，再通过分类器模型进行语义概念检测。

所述的对训练集合及测试集合中的镜头均提取图像、音频、文本三种模态的底层特征：每个镜头中选取一个关键帧作为代表图像，然后提取颜色直方图、纹理和Canny边界作为图像特征；将镜头对应的一段音频提取出作为一个音频例子，并将音频例子分成含迭加的短时音频帧，提取每个短时音频帧特征，包括MFCC、质心、衰减截止频率、频谱流量及过零率，来形成帧特征向量，然后把短时音频帧特征向量的统计值作为镜头的音频特征；从视频中经过识别的转录文本提取TF*IDF值作为文本特征。

所述的视频张量镜头的表达：基于视频中提取的图像、音频、文本底层特征，将每个视频镜头用一个3阶张量S∈RI1×I2×I3]]>来表示。其中，I₁，I₂和I₃分别是图像特征、音频特征及文本特征的维数。那么每个元素s_i1i2i3的值定义为：s_i1，1，1(1≤i₁≤I₁)为图像特征的值，s_2，i2，2(1≤i₂≤I₂)为音频特征的值，s_3，3，i3(1≤i₃≤I₃)为文本特征的值，其它元素的值均初始设为零。