[发明专利]基于深度学习的视频UCL语义标引方法与装置

说明书

本发明公开了一种基于深度学习的UCL语义标引方法与装置。首先利用神经网络提取视频低层语义特征；然后，基于特征灵活采样以及注意力机制，对视频自然语言描述生成模型S2VT进行改进，生成S2VT‑FFSA模型，此模型以视频低层语义特征作为输入，输出视频自然语言描述特征，并结合语音自然语言描述特征生成视频关键词等高层语义特征，一定程度上解决了语义特征提取不充分的问题；最后，利用UCL能够标引丰富语义特征的特点，提出视频内容的UCL标引方法，使视频标引更加规范化。本发明既能精确地抽取视频丰富的语义特征，又能客观、规范地标引这些特征。

技术领域

本发明涉及基于深度学习的视频UCL语义标引方法与装置，利用深度学习技术对视频低层特征以及高层特征进行自动提取，基于UCL国家标准GB/T35304-2017对视频语义特征进行标引，属于互联网技术领域。

背景技术

随着计算机技术与信息技术的快速发展，视频的制作方法与上传途径变得日益便捷，致使海量的视频资源存在与互联网中，各大视频门户为解决视频信息过载问题，会向用户提供视频搜索和推荐等功能。为了能够有效地管理视频资源并高效地实现上述功能，对视频特征进行精准的提取和规范化的标引尤为重要。但是，当前的视频特征的提取与标引方面仍存在以下问题：首先，统的视频特征提取方法在视频高层语义提取方面表现不佳，如果通过人为方式抽取视频语义特征，时间效率不高，并且其结果往往会因为个人的看法不同导致语义特征存在差异，很难做到在统一标准框架下生成视频高层语义特征；其次，基于深度学习的视频语义提取方法，在描述精度上仍有待提升，例如，S2VT(Sequence toSequence-Video to Text)视频自然语言描述模型(Venugopalan S,et al.Sequence toSequence--Video to Text[C].IEEE International Conference on Computer Vision(ICCV).IEEE,2015)对于周围视频片段的关注较小，并且其模型的输入方式过于单一；最后，多媒体内容描述接口MPEG-7能够对视频特征进行标引，但是只能够规范化地标引颜色、纹理、形状等视觉特征以及部分语义特征，其它语义特征需要用户自己定义新的描述模式。如果没有统一的视频内容编码规范，系统需要针对不同的编码格式设计获取视频指定特征的方法，视频特征在各个推荐系统之中的通用性无法得到保障，并且为视频资源的统一管理制造了困难。

UCL是一种标引互联网资源语义信息的元数据，由国家标准《统一内容标签格式规范》(GB/T 35304-2017)所定义。它包含UCL代码部分和UCL属性部分，代码部分为面向读者的内容导引，属性部分为被标引内容的语义信息和管理信息。UCL具有以下三个特点：第一，UCL具有规范性，被标引的各类、各级信息严格遵从UCL格式规范，存放在标引的指定位置中。第二，UCL具有结构灵活的特点，虽然代码部分为固定的32字节，但属性部分除了目前所定义的一些域之外，也可以根据具体的领域和应用场景自由地扩展。第三，UCL能够标引丰富语义信息，包括被标引资源的关键词、作者等。本发明利用深度学习技术对视频分别提取视频低层语义特征和高层语义特征，并利用UCL标引视频语义特征。

发明内容

发明目的：针对现有技术中存在的问题与不足，本发明提出一种基于深度学习的视频UCL语义标引方法与装置，能够自动地提取视频低层语义特征与高层语义特征，提高了视频特征提取的速度与精确度，并对其进行规范化地标引，提高了视频标引的客观性与通用性。

技术方案：一种基于深度学习的视频UCL语义标引方法，该方法首先利用神经网络提取低层语义特征；然后改进传统的视频自然语言描述模型，并以低层语义特征为输入，输入高层语义特征；最后，将自动生成的语义特征规范化地标引在UCL中。该方法包括如下步骤：

(1)利用深度神经网络提取视频的图像帧CNN特征，并通过计算CNN特征的余弦相似度判断视频帧之间的相似性，基于视频帧的相似性对视频进行分段；