[发明专利]基于张量表示的多模态视频语义概念检测方法

摘要

本发明公开了一种基于张量表示的多模态视频语义概念检测方法。包括如下步骤：1)对训练集合及测试集合中的视频镜头均提取图像、音频、文本三种模态的底层特征，每个视频张量镜头由这三种底层特征形成3阶张量来表达；2)根据视频张量镜头集合的流形空间本征结构，通过寻找转换矩阵实现对原始高维张量的维度降低及子空间嵌入；3)采用支持张量机对降维后的视频张量镜头集合建立分类器模型；4)对于测试镜头，由训练集合计算得到的转换矩阵进行投影后，再通过分类器模型进行语义概念检测。本发明充分利用视频中的多模态数据，将视频镜头表示为3阶张量，并基于此种表达提出了一种子空间嵌入的降维方法，实现了视频镜头的语义概念检测，对视频语义进行了较好的分析与理解。

主权项

1.一种基于张量表示的多模态视频语义概念检测方法，其特征在于包括如下步骤：1)对训练集合及测试集合中的视频镜头均提取图像、音频、文本三种模态的底层特征，每个视频张量镜头由这三种底层特征形成3阶张量来表达；2)根据视频张量镜头集合的流形空间本征结构，通过寻找转换矩阵实现对原始高维张量的维度降低及子空间嵌入；3)采用支持张量机对降维后的视频张量镜头集合建立分类器模型；4)对于测试镜头，由训练集合计算得到的转换矩阵进行投影后，再通过分类器模型进行语义概念检测。