[发明专利]一种视频语义挖掘方法

说明书

技术领域

本发明涉及数字媒体和机器学习领域，它对于用户输入的视频进行语义分析，通过融合语音、文字和图像信息对于视频进行语义标注。

背景技术

随着在线视频分享网站和视频处理技术的发展，大量视频格式的内容涌现出来。由于视频是非格式化的数据并且缺少必要的描述信息，因此并不能像文本那样很容易地进行处理。对于视频进行人工语义标注又耗时耗力，不能满足批量视频处理的要求。基于内容的视频处理技术是目前的研究热点，但是现有技术对于视频内容的标注错误率高，并且没有综合考虑图像、文字和语音多方面内容的有效融合。目前图像目标识别技术逐渐成熟起来，在视觉目标类别分类挑战赛中，图像目标识别已经到达实用的程度。连续语音识别技术使得语音信号可以转录为文本。视频文字识别可以把视频中的嵌入文字识别出来，作为文本文字来处理。结合以上三种识别技术，视频语义分析需要一种有效的融合方法。“知网”是一个中文语义辞典，利用“知网”中的概念层次关系，可以计算两个词语之间的语义距离。根据语义距离，可以对三种识别结果进行语义度量。根据视频图像、文字和语音这三种模态信息的高度相关性，可以有效融合不同模态信息，去除识别错误信息。图模型由顶点和边构成，可以表达整个视频中概念的关系。稠密子图发现算法可以实现在视频图模型中发现语义聚集关系，达到视频语义标注的目的。

发明内容

现有的基于内容的视频处理技术，并没有完全利用图像、语音和文字三个高层语义方面的信息，并且不能在高层语义上进行视频分类和挖掘。为了解决现有技术问题的不足，本发明提出一种对视频进行语义挖掘的方法。

为了达成所述目的，本发明提供一种视频表达和挖掘的方法，其技术方案包括如下步骤：

步骤S1：对于待处理的视频，分别进行中文连续语音识别、视频目标识别和视频文字识别；

步骤S2：对于步骤S1所述的三种识别结果，各自表达为一个文字向量，共同组成一个张量以表达视频；

步骤S3：对于步骤S2中的三个文字向量，分别进行中文分词和词性标注，保留名词和动词；

步骤S4：构造图模型来表达视频，其中图的顶点为S3中所得到的名词和动词，图的边权重设置为两个顶点所代表的中文词语的语义距离；

步骤S5：对于步骤S4所构造的图模型，使用稠密子图发现算法挖掘图模型中的语义。

本发明的有益效果：对于视频可以实现自动的语义标注、自动分类和视频相似度度量。对于海量视频数据，借助于本技术可以避免手工标注所带来的枯燥繁琐的劳动。本发明有效融合了中文连续语音识别、中文文字识别和图像目标识别的结果，通过把视频表达为一个图模型而展现了视频中各个语义概念的语义距离关系，这个距离关系是通过基于“知网”的语义距离度量来实现的；最后通过稠密子图发现算法可以实现视频中语义概念的标注和挖掘。

附图说明

图1是本发明的视频处理整体流程图。

图2是本发明的中文连续语音识别流程图。

图3是本发明的视频文字识别流程图。

图4是本发明的图像目标识别流程图。

图5是本发明的语义距离度量层级关系图。

图6是本发明的视频稠密子图挖掘表示。

图7是本发明的视频标注结果。

具体实施方式

下面结合附图详细说明本发明技术方案中所涉及的各个细节问题。应指出的是，所描述的实施例仅旨在便于对本发明的理解，而对其不起任何限定作用。

本发明提出了一种视频语义挖掘的方法，如图1所示，该方法在处理流程上分为四层。最下边是视频库层，存放了各种形式的视频资源；视频库上边一层是多模态融合层，在这一层完成对于视频的结构分析和图像、文字以及语音的识别和有效融合；再往上一层是视频挖掘层，在该层实现对于视频的图模型表示和基于稠密子图发现的视频挖掘算法，此外还可以根据支持向量机模型实现视频分类挖掘；最上层是对用户提供的透明的智能视频服务层；最右侧是基于“知网”的语义计算支持层。根据上述流程，具体的实施步骤如下所示：

1、视频预处理

对于待处理的视频进行镜头分割，然后对于每个镜头提取关键帧，并把这些关键帧保存下来供后续图像目标识别使用；对于视频中的音频信号，按照16KHZ，16bit的要求采样，并且保存成wav格式供后续语音识别使用。

2、图像目标识别