[发明专利]一种基于双向时序图的视频描述生成方法和装置

说明书

本发明涉及一种基于双向时序图的视频描述生成方法和装置。该方法包括以下步骤：对视频提取视频帧并进行对象检测，每个视频帧检测得到若干个对象；对视频对象构建双向时序图，包含正向图和反向图，计算得到对象的双向时序轨迹；对视频帧和对象提取局部特征，构建特征聚合模型，通过对局部特征进行聚合得到表达能力强的聚合特征；构建解码模型生成自然语言描述，并在生成过程中利用层次化注意力机制自适应区分不同视频帧和不同对象实例的作用。本发明能够通过双向时序图建模视频对象的时序轨迹，能够有效表达视频对象的时序变化信息，并且利用局部特征聚合提高视频特征的表达能力，建模细粒度的视频时空信息，从而提高了视频描述生成的准确率。

技术领域

本发明涉及视频描述生成技术领域，具体涉及一种基于双向时序图的视频描述生成方法和装置。

背景技术

随着互联网和多媒体技术的迅速发展，互联网上的视频数量急剧增长。统计数据表明，YouTube视频分享网站上用户每天观看的视频时长超过10亿小时，用户每分钟上传的视频时长超过400个小时。根据美国CISCO公司预测，到2022年，全球视频流量将占据IP流量的82％。面对海量规模且快速增长的互联网视频数据，如何对其内容进行有效的分析和理解，对满足用户的信息获取需求具有重要的意义。

视频描述生成是指计算机自动生成描述视频内容的自然语言语句，是计算机视觉和自然语言处理两个领域的交叉研究方向，可应用于视频管理、视频检索等方面，具有重要的研究和应用价值。早期研究者们采用基于语言模板的方法进行视频描述生成，首先从视频中检测对象、动作、事件等视觉内容，用单词进行表示，然后使用预定义的语言模板将上述单词连接成语句。代表方法是Thomason等人2014年发表在COLING会议的文献“Integrating Language and Vision to Generate Natural Language Descriptions ofVideos in the Wild”中提出的因素图模型(Factor Graph Model)，该模型利用文本语料库将检测到的单词适配到SVOP(Subject-Verb-Object-Place)元组中，即学习可能的主语、谓语、宾语和地点，然后根据语言模板生成连贯的自然语言描述。然而，基于语言模板的方法依赖人工定义的语言模板，限制了语句的多样性。