[发明专利]用于密集视频描述的技术

说明书

描述了用于生成视频内容的密集自然语言描述的技术和设备。在一个实施例中，例如，设备可以包括：至少一个存储器，以及逻辑，该逻辑的至少一部分包括在与至少一个存储器耦合的硬件中，该逻辑用于接收包括多个帧的源视频，确定多个帧中的每一个帧的多个区域，生成连接所确定的多个区域的至少一个区域序列，以及将语言模型应用于至少一个区域序列以生成描述信息，该描述信息包括源视频的至少一部分内容的描述。描述并要求保护其他实施例。

技术领域

本文的实施例总体上涉及信息处理，并且更具体地涉及生成以文本形式表达图像或一系列图像的内容的描述。

背景技术

改善的联网和存储能力已经促进了对计算设备，特别是移动设备的视频内容的需求的指数级增长。社交网络、新闻平台、和娱乐服务等服务提供商正在向用户提供越来越多的视频内容。然而，可用视频内容的增加使确定有用的或相关的内容变得更加困难，因为绝大多数视频内容缺乏实质性的、有用的描述。常规技术仅提供视频内容的简单的、粗略的自动描述，而这些描述不能提供足够的信息以用于搜索或评估内容的相关性。

用于描述图像或视频的常规系统通常使用一个句子字幕说明来描述图像。例如，对于视频剪辑，系统通常集中在使用基于帧上特征的平均池化、软注意力方案、序列到序列学习等的方法来为短视频剪辑生成一个字幕。然而，单个句子不能充分且有意义地描述视频，尤其是视频的丰富内容。使用常规技术为密集视频字幕提供区域序列级别的句子注释是昂贵的。缺少此类注释在很大程度上限制了密集视频标字幕的所需进度。另外，将句子描述的一对多映射为一个全局视觉表示还不够精确。

附图说明

图1图示出第一操作环境的实施例。

图2图示出第二操作环境的实施例。

图3图示出根据一些实施例的多标签和多实例学习技术。

图4图示出根据一些实施例的区域序列生成过程。

图5图示出根据一些实施例的标字幕的视频。

图6图示出第一逻辑流程的实施例。

图7图示出存储介质的示例。

图8图示出示例计算平台。

具体实施方式

各个实施例总体上可以涉及用于生成描述信息的技术，该描述信息被配置为经由计算系统以文本形式描述视频的内容。在一些实施例中，视频可以包括单个图像、一系列图像、文档的图像部分、视频、多媒体等。术语“图像”可以包括一系列图像或视频；因此，术语“图像”和“视频”在本文中可以互换使用。在各个实施例中，描述信息可以包括指示视频中存在的视觉内容的信息。在一些实施例中，计算系统可以包括配置成接收或以其他方式访问视频并生成描述信息(例如，描述视频的文本)和/或带字幕的视频(例如，注释有描述信息的视频)的密集视频标字幕应用。通常，布置在视频上或以其他方式嵌入在视频中的描述信息可以称为字幕。在一些实施例中，密集视频标字幕应用可以可操作以提供“密集”描述信息和/或标字幕的视频，其中例如，利用视频的多个区域中的每个区域的一个或多个描述符(例如，句子)为该多个区域生成描述信息。

在一些实施例中，密集视频标字幕应用可操作以确定来自源视频(例如，视频剪辑)的区域或片段序列，并且生成视频的每个区域序列的多个描述符(例如，多句描述)。在一些实施例中，密集视频标字幕应用可以包括各种组件或模块，包括但不限于视觉组件、区域序列组件、和语言组件。在各个实施例中，视觉组件可以包括可操作以提供词法词与视频区域之间的映射的经训练的计算模型。在一些实施例中，区域序列组件可以可操作以基于例如视觉模块的输出从视频自动生成信息丰富的和多样的区域序列。在各个实施例中，语言组件可以可操作以例如使用序列到序列学习框架计算模型生成每个区域序列的描述符输出。因此，在一些实施例中，提供了能够以有助于对视频内容进行有效和稳健的评估和/或搜索的方式来生成视频内容的自主自然语言描述的技术。