[发明专利]多源异构训练数据融合方法、装置和设备

权利要求书

1.一种多源异构训练数据融合方法，其特征在于，包括步骤：

采用搭建的标准化大数据汇聚共享平台分别连接各个异构数据源，分别接入各所述异构数据源的军事训练数据；所述标准化大数据汇聚共享平台为基于Hadoop分布式系统和HDFS分布式存储系统构建的大数据平台，所述军事训练数据包括消息流式数据、结构化的报表数据、属性类数据、非结构化的文本图片数据以及视频语音流式数据；

通过所述标准化大数据汇聚共享平台对各所述军事训练数据进行清洗、去重与去噪的预处理；

利用元数据映射方式，将预处理后的各所述军事训练数据映射到所述HDFS分布式存储系统的规范的逻辑空间并存储；

通过所述标准化大数据汇聚共享平台，根据需共享数据的部门、应用和业务的数据共享请求以及相应共享权限，分别以设定的数据共享方式传输各所述数据共享请求对应请求共享的各所述军事训练数据。

2.根据权利要求1所述的多源异构训练数据融合方法，其特征在于，接入以及存储各类所述消息流式数据的过程，包括：

采用分布式消息队列的方式每隔设定时间间隔，从所述标准化大数据汇聚共享平台的Kafka组件收集各类所述消息流式数据；所述设定时间间隔为50ms至500ms之间的任一数值；

采用Stream+Holodesk流式大数据处理框架将收到的各类所述消息流式数据映射成二维关系表并转成内存列式存储至Holodesk(SSD)组件。

3.根据权利要求1所述的多源异构训练数据融合方法，其特征在于，接入以及存储所述视频语音流式数据的过程，包括：

利用所述标准化大数据汇聚共享平台通过前端汇聚设备或直连摄像机接入实时的所述视频语音流式数据；

通过所述标准化大数据汇聚共享平台对所述视频语音流式数据进行流媒体转发、视频分析与视频结构化处理后，将各所述视频语音流式数据存储至所述HDFS分布式存储系统。

4.根据权利要求1至3任一项所述的多源异构训练数据融合方法，其特征在于，设定的所述数据共享方式包括FTP方式、据库直连方式、分布式消息系统Kaflca方式、WebServices数据交换方式、拷贝方式、邮件传输方式和网络抓取方式。

5.根据权利要求1所述的多源异构训练数据融合方法，其特征在于，所述HDFS分布式存储系统之上，还设置有分布式NoSQL实时数据库Hyperbase；实时数据库Hyperbase用于提供训练数据共享时的检索服务。

6.一种多源异构训练数据融合装置，其特征在于，包括：

数据接入模块，用于采用搭建的标准化大数据汇聚共享平台分别连接各个异构数据源，分别接入各所述异构数据源的军事训练数据；所述标准化大数据汇聚共享平台为基于Hadoop分布式系统和HDFS分布式存储系统构建的大数据平台，所述军事训练数据包括消息流式数据、结构化的报表数据、属性类数据、非结构化的文本图片数据以及视频语音流式数据；

预处理模块，用于通过所述标准化大数据汇聚共享平台对各所述军事训练数据进行清洗、去重与去噪的预处理；

映射融合模块，用于利用元数据映射方式，将预处理后的各所述军事训练数据映射到所述HDFS分布式存储系统的规范的逻辑空间并存储；

共享服务模块，用于通过所述标准化大数据汇聚共享平台，根据需共享数据的部门、应用和业务的数据共享请求以及相应共享权限，分别以设定的数据共享方式传输各所述数据共享请求对应请求共享的各所述军事训练数据。

7.根据权利要求6所述的多源异构训练数据融合装置，其特征在于，接入以及存储各类所述消息流式数据的过程中：

所述数据接入模块用于采用分布式消息队列的方式每隔设定时间间隔，从所述标准化大数据汇聚共享平台的Kafka组件收集各类所述消息流式数据；所述设定时间间隔为50ms至500ms之间的任一数值；

所述映射融合模块用于采用Stream+Holodesk流式大数据处理框架将收到的各类所述消息流式数据映射成二维关系表并转成内存列式存储至Holodesk(SSD)组件。