[发明专利]一种基于多维要素视频分割的段落关联规则评判方法

说明书

本发明主要提供一种基于多维要素视频分割的段落关联规则评判方法，具体内容包括：步骤一：视频解析；步骤二：场景分割中的关键帧提取；步骤三：基于关键帧的场景分割；步骤四，视频的音频分割；步骤五，视频的语义分割；步骤六：GNN网络的分割视频的段落关联规则评判方法；步骤七：构建关联网络。本发明对同一段视频进行多维分割后，采用了构建段落关联规则的方式对对应的多维要素进行了匹配。与其他视频分割的段落关联规则评判方法相比，本发明结合图像序列中像素在时间域上的变化以及相邻帧之间的相关性对视频在图像维度实现了很好的分割，保留了视频的关键信息，可以提供一种有效的多维要素视频分割的段落关联规则评判方法。

技术领域

本发明主要涉及了一种段落关联规则评判方法，特别是涉及一种基于多维要素视频分割的段落关联规则评判方法。

背景技术

目前针对视频结构化问题，大多数都是对视频进行图像这一单维要素方面的分割，在基于多维分割的视频结构化方法研究涉及较少。而在实际中，视频中包含的音频信息、文字信息等对视频监控工作也发挥着重要作用。此外，在对视频中的运动物体进行分割提取关键帧时，为了考虑运算效率问题，仅仅是取视频当中的某一帧作为关键帧，往往会忽略视频中包含的重要信息，或者是通过设置阈值的方式对视频帧依次进行视觉特征比对来选取关键帧，以上方法均没有考虑图像序列中像素在时间域上的变化以及相邻帧之间的相关性以及上一帧与当前帧之间的对应关系。同时，在对同一段视频进行场景、声音、文本三个维度上的分割后，得到了不同时间段的视频。在这三个维度上分割得到的视频并不能完全对齐，会产生交叉的情况。因此，需要建立一种能对场景、声音、文本这三维要素进行完全匹配的段落关联规则评判方法。

当前在视频结构化方面的应用非常广泛。例如，基于视频结构化在公共场所消防设施监控系统中的应用、公共安全中的视频结构化以及视频结构化技术及在平安城市中的应用等。随着城市视频监控系统的大规模部署,视频监控已深入城市各个角落,在智能交通、政府监管、企业运营等各行各业产生大量的监控视频数据。随着边缘计算、云计算、大数据技术的不断深入,视频数据量庞大、存储困难、检索不方便等问题日益突出，面向大规模实时视频监控数据，要想对视频流数据进行实时的时空信息标注,字符提取、特征提取,目标分类,结构化标注等图像处理工作,并快速传输给中心计算处理，需要构建一种多维要素视频分割的段落关联规则评判方法，能对场景、声音、文本实现快速准确匹配，为我国政府及各企业运营提供实时高效的监控手段。

发明内容

针对上述现有技术中存在的问题，本发明主要提供一种基于多维要素视频分割的段落关联规则评判方法，其具体流程如图1所示。

技术方案实施步骤如下：

步骤一：视频解析。

视频解析的第一步是数据接收，需要对视频做一个解复用的处理，分解为图像轨道、音频轨道、字幕轨道。

步骤二：场景分割中的关键帧提取。

关键帧提取方法主要分为五类，具体方法如图2所示。

(1)基于边界提取关键帧。该方法把每个镜头第一帧和最后一帧或中间帧直接作为关键帧选取出来。这样运算量小，适合于内容活动性小或保持不变的镜头。

(2)基于视觉特征提取关键帧。该方法首先选择第一帧作为最近的关键帧，然后，后面的帧依次与其比较视觉特征，这些特征包括颜色、运动、边缘、形状和空间关系等。如果当前帧和最近的关键帧之间的差值超过了一个预定的阈值，那么当前帧就被选为关键帧。

(3)基于聚类提取关键帧。这类方法使用了聚类技术，将一个镜头的所有帧进行聚类，然后根据某些准则，比如类别中的帧数，在这些类别中选取关键类别，再在关键类别中选取聚类参数最小的帧作为关键帧。