[发明专利]基于FPGA和人工智能的视频结构化处理装置和方法

说明书

本公开提供一种基于FPGA和人工智能的视频结构化处理装置和方法。根据本公开的一种基于FPGA和人工智能的视频结构化处理装置(100)包括视频解码器(110)，用于对输入的编码视频数据进行解码，将解码后的视频数据输入到FPGA(120、130)。FPGA(120、130)从视频解码器(110)接收解码后的视频数据，利用FPGA中编程的人工智能算法对接收的解码后的视频数据进行结构化处理，将结构化信息返回到视频解码器(110)。视频解码器(110)从FPGA(120、130)接收结构化信息，根据接收到的结构化信息对解码后的视频数据进行处理，最后输出目标图片与相应的结构化信息。

技术领域

本发明涉及人工智能领域，更具体涉及使用FPGA来进行视频结构化处理的装置和方法。

背景技术

随着“平安城市”、“城市立体化治安防控”、“智慧城市”等科技强警项目建设的开展不断深入，我国一线、二线、三线城市已经基本完成城市监控与报警系统由标清改高清的建设，并且基于统一的国家标准正在开展视频监控资源的联网整合任务。一线、二线城市已经在联网整合后视频资源基础上深入开展智能视频分析系统、且取得了初步成果。然而，视频监控系统作为面向城市公共安全综合管理的物联网应用中智慧安防和智慧交通的重要组成部分，面临着深度应用的巨大挑战。其应用的瓶颈是视频信息如何高效提取，如何同其他信息系统进行标准数据交换、互联互通及语义互操作。当下主要的问题在于：缺少视频信息情报的标准化生成方法，进而缺少利用视频信息情报指导侦查、破案的新型警务工作模式；视频信息化情报化警务应用各环节缺乏统一的标准和规范。解决这一问题的核心技术即是视频结构化描述技术。

视频结构化技术是一种将视频内容(人、车、物、活动目标)特征属性自动提取的技术，对视频内容按照语义关系，采用目标分割、时序分析、对象识别、深度学习等处理手段，分析和识别目标信息，组织成可供计算机和人理解的文本信息的技术。从数据处理的流程看，视频结构化描述技术能够将监控视频转化为人和机器可理解的信息，并进一步转化为公安实战所用的情报，实现视频数据向信息、情报的转化。

目前视频结构化技术在实际应用中还存在以下问题：

(1)分析准确率受环境影响大

系统针对复杂异常行为建模困难，目标与背景接近会导致目标特征信息提取困难；运动目标被遮挡会造成目标信息缺失；目标移动速度过快或算法过于复杂导致跟踪的有效性较低，上述因素易造成误报、漏报、跟踪困难等结果。

(2)海量数据分析速度较慢

针对后端平台的结构化处理而言，前端采集设备回传大量的视频、图片等信息，都需要在平台服务器上叠加算法进行分析，由于服务器本身处理性能的限制，无法并行处理大量数据，因此，虽然智能分析服务器的应用为公安、交警等需要大量检索视频的情况节省了人力与时间，但整体的效率仍有很大提高的空间。

随着人工智能、机器学习算法的不断成熟，相关的硬件能力不断提高，人工智能、神经网络算法在视频结构化处理中的应用得到越来越广泛的关注。服务器端用于人工智能算法加速的硬件现在主要分为GPU(英文术语Graphics Processing Unit的缩写，中文可以译为图形处理单元)和FPGA(英文术语Field Programmable Gate Array的缩写，中文可以译为现场可编程门阵列)两类。

例如，现有的主流采用人工智能算法的视频结构化处理方案为NVIDIA的GPU方案，采用GPU对视频进行解码，然后使用人工智能、神经网络算法进行结构化分析和处理。