[发明专利]一种多协议视频数据采集系统及其实现方法

说明书

本发明提出了一种多协议视频数据采集系统及其实现方法，所述系统的数据采集集群将多类负载均衡设备接入的大量多协议设备采集数据转换为统一标准数据，数据采集集群包括多个接入模块、数据通道和协转处理模块，每类负载均衡设备对应连接多个接入模块，每个接入模块与数据通道之间对应连接，每个数据通道连接多个协转处理模块；解决了视频结构化数据的接入问题，可根据目标接收设备灵活的配置采集源，极大的提高了对标准设备的接入能力；克服了大量视频结构化数据回传压力大、调度难、接入开发量巨大的难题；具有高吞吐量、插件式适配数据源和接收源、动态增加采集能力的优势，兼容采集设备固件，使得数据提供方不在担心批量升级固件带来的风险。

技术领域

本发明涉及数据采集技术领域，尤其涉及一种多协议视频数据采集系统及其实现方法。

背景技术

视频结构化的数据采集，目前通用的是公安部的标准，或是各厂家私有的采集方式，虽然公安部的采集标准有一定的通用性，但在采集标准中让采集服务承担了一些数据接入的角色，对于平台级的数据采集，设备部署所需花费十分巨大，虽然能做到采集设备的标准统一，但是平台的管理成本和部署成本无疑形成了巨大的浪费，且采集服务的职责划分不太清晰，服务提供者和数据接入厂家在标准的接入上面仍需要花费大量的开发精力；而私有协议因为不通用问题或业务影响力不够导致数据协议推广十分困难。

发明内容

本发明的目的在于，针对上述问题，提出一种多协议视频数据采集系统，数据采集集群将多类负载均衡设备接入的大量多协议设备采集数据转换为统一标准数据，包括多个接入模块、数据通道和协转处理模块，每类负载均衡设备对应连接多个接入模块，每个接入模块与数据通道之间对应连接，每个数据通道连接多个协转处理模块。

进一步的，所述数据采集集群接收并转化的多协议设备采集数据为结构化数据，所述结构化数据包括图片数据和结构化描述数据。

进一步的，所述接入模块和协转处理模块采用插件编程方式兼容多协议设备的固件或算法系统，并内置统一的数据标准。

进一步的，所述系统还包括用于存储标准数据和属性数据的消息队列缓存。

一种多协议视频数据采集实现方法，包括以下步骤：

每类负载均衡设备负责实现相同协议的设备接入，并将相同协议设备的采集数据分发到指定端口的接入模块；

接入模块对接入数据进行处理并分发至对应的数据通道；

数据通道使用正则表达式或拦截器对数据进行分捡处理，送到不同的协转处理模块；

协转处理模块处理接收数据，对数据进行标准转换、级联操作。

进一步的，所述接入模块根据自身监听的端口决定接入设备类型，通过HTTP、RPC、TCP接入方式完成数据接入处理。

进一步的，所述接入模块通过SDK前置机将数据解析成单帧数据后通过RPC方式进行特殊接入方式的数据接入处理。

进一步的，所述数据通道采用内存型或文件型通道。

进一步的，所述协转处理模块通过以下模块执行数据标准转换和级联操作：

源协议解析单元：按照对应设备的数据格式进行解析；

转换单元：以值对象到值对象的转换方式转换解析数据为标准协议格式或内部协议格式数据；

发送单元：将转换后的标准数据和属性数据发送至消息队列缓存或外部接收方，并进行级联操作；

所述外部接收方包括第三方系统；

所述属性数据为转换单元转换过程中的非必要数据，采用Map数据格式进行存储。

进一步的，在进行内部数据交换时，采用内存、文件、消息队列三种方式进行。