[发明专利]智能视频分析

说明书

本申请涉及智能视频分析，并公开提供一种设备。该设备接收视频馈送，并且在接收到视频馈送时实时处理视频馈送。该设备对视频馈送执行对象检测和识别以检测和分类其中的对象，执行活动识别以检测和分类至少一些对象的活动，并且输出视频馈送中的分类的对象和分类的活动。该设备生成描述视频馈送的自然语言文本，产生语义网络，并且将视频馈送、分类的对象和分类的活动、自然语言文本和语义网络存储在知识库中。该设备生成图形用户接口(GUI)，该图形用户接口被配置为启用知识库的查询以及视频馈送、分类的对象和分类的活动、自然语言文本和语义网络的选择的呈现。

技术领域

本公开总体涉及智能视频分析，并且具体地涉及支持实时监视以及离线搜索与检索的智能视频分析。

背景技术

视频分析可以用于诸如视频监察系统的许多应用中。视频分析通常需要涉及人类操作员手动观看视频流并且产生视频内容的口头叙述。然而，在许多应用中，视频分析中所使用的相机和成像传感器产生大量的流和存档视频数据，这对于人类进行分析、理解和响应可能是不切实际的。

现有的自动视频分析系统可以用较少的人力执行视频分析。然而，许多现有的自动视频分析系统仅适用于固定式相机，并且仅提供对象检测。也就是说，许多现有的自动视频分析系统无法为移动相机工作，并且不提供诸如跟踪移动对象、活动识别、视觉呈现视频馈送(video feed)中的对象的语义关系以及智能视频检索的多种功能。

因此，期望具有一种系统和方法，该系统和方法考虑以上所讨论的至少一些问题以及其他可能的问题。

发明内容

本公开的示例实施方式涉及支持实时监视和离线搜索与检索的智能视频分析。本公开的示例实施方式可以实时接收和分析视频数据，并且实施机器学习算法以标识和跟踪感兴趣的对象。本公开的示例实施方式可以使用自然语言表示来描述所跟踪的对象。

本公开的示例实施方式可以从各种固定和移动视频馈送接收数据。本公开的示例实施方式可以在对象检测、跟踪、地理记录、活动识别、视频字幕和基于图形的内容表示中集成高级计算机视觉和机器学习能力。本公开的示例实施方式可以在实时监视中提供大量流视频数据的自动语义解析，并且支持离线搜索与检索。本公开的示例实施方式可以被部署在诸如有人或无人飞行器、卫星、街道安全相机、随身相机和个人移动电话的广泛的平台中。

本公开的示例实施方式还可以提供诸如通过大型视频存档进行有效的内容浏览和导航的视频取证分析。本公开的示例实施方式支持使用各种类型的基于语义的视频查询(例如，通过关键字、通过地理空间区域或通过视觉相似性)快速搜索与检索过去的事件。本公开的示例实施方式可以支持固定相机平台和移动相机平台两者，并且可以从视频馈送中自动提取高度语义内容信息，该视频馈送可以离线有效地存储和检索。本公开的示例实施方式可以减少视频监察应用中所需的人力和对人力的依赖，并且节省了人类操作员花费长时间来手动观看现场视频馈送和搜索过去事件的视频存档。

因此，本公开包括但不限于以下示例实施方式。

一些示例实施方式提供一种具有强化学习的自动目标识别方法，该方法包括：接收视频馈送；在接收到视频馈送时实时处理视频馈送，包括：对视频馈送执行对象检测和识别以检测和分类其中的对象；执行活动识别以检测和分类至少一些对象的活动；并且输出视频馈送中的分类的对象和分类的活动；生成自然语言文本，该自然语言文本根据分类的对象和分类的活动描述视频馈送；产生语义网络，该语义网络包括具有表示分类的对象的顶点和连接这些顶点并且表示分类的对象之间的语义关系的边的图，至少一些语义关系对应于分类的活动中的相应分类的活动；并且将视频馈送、分类的对象和分类的活动、自然语言文本和语义网络存储在知识库中；并且生成图形用户接口(GUI)，该图形用户接口被配置为启用知识库的查询以及视频馈送、分类的对象和分类的活动、自然语言文本和语义网络的选择的呈现。