[发明专利]一种大数据PB级分布式信息存储与检索平台

说明书

本发明公开了一种大数据PB级分布式信息存储与检索平台，包括数据采集层：采用分布式高速前端探针服务器，数据采集层用于完成针对海量设备的数据采集、回传；数据传输层：将信息采集层获取的信息进行数据的抽取、转换和加载后，通过分类信息的识别，分别将原始信息和分类信息进行上传，传输过程采用加密、单向传输模式，确保数据回传的安全性；数据存储层：存储来自不同数据源的数据，按业务应用需要将数据分类，对数据实行统一的管理与维护；核心业务层：调用数据通过专家模型库进行分析，发现窃密攻击行为以及数据回溯，实现核心专家模型算法；应用展示层：直接面向最终用户，集成了数据展示、用户权限管理、数据日志查询、数据输入功能。

技术领域

发明涉及大数据安全技术领域，具体为一种大数据PB级分布式信息存储与检索平台。

背景技术

随着信息技术与经济社会的交汇融合，各类数据的爆发性增长，使得“大数据”已经渗透到当今每一个行业和业务职能领域，成为了一项至关重要的生产因素，日益对全球生产、流通、分配、消费活动以及经济运行机制、社会生活方式和国家治理能力产生重要影响。

从全球来看，大数据正在改变各国综合国力、重塑未来国际战略格局，对国家主权安全形成新的挑战：大数据正在成为经济社会发展新的驱动力；大数据重新定义了大国博弈的空间；大数据将改变国家治理架构和模式；“大数据安全”也已上升为国家安全。

为了缩短内外差距，平衡敌我态势，我国家安全机关应积极响应习总书记关于网络空间安全的各项讲话精神，重视大数据技术与资源在网络空间安全领域，乃至国家安全领域的创新应用，“大数据”对抗“大数据”，借此强化对境外谍报机关网络攻击、控制、窃密行为的敌情侦测能力，加强建设完备的网络反窃密工作体系，努力打造与我国大国地位相匹配的、能与境外谍报机关等主要对手相抗衡的网络技术安全保卫工作能力。

因此，我国家安全机关亟需增强自身在网络空间大数据领域的采集、分析、应用能力，构建一个技术先进、体系成熟的大数据PB级分布式信息存储与检索平台，实现对网络空间中的重要信息进行全面感知、快速侦测和重点追踪。

发明内容

发明的目的在于提供一种大数据PB级分布式信息存储与检索平台，以解决上述背景技术中提出的问题。

为实现上述目的，发明提供如下技术方案：一种大数据PB级分布式信息存储与检索平台，包括数据采集层、数据传输层、数据存储层、核心业务层和应用展示层；

所述数据采集层：采用分布式高速前端探针服务器，其基于分布式专门用于网络高速探测，最大发包速度为1G/s，最大镜像数据带宽10G，实现数据主、被动获取和具有数据快速处理分析能力，所述数据采集层用于完成针对海量设备的数据采集、回传；

所述数据传输层：将信息采集层获取的信息进行数据的抽取、转换和加载后，通过分类信息的识别，分别将原始信息和分类信息进行上传，传输过程采用加密、单向传输模式，确保数据回传的安全性；

所述数据存储层：存储来自不同数据源的数据，按业务应用需要将数据分类，对数据实行统一的管理与维护，同时，存储层通过采用专用的索引算法，建立了文件索引层，实现数据的快速检索和调用；

所述核心业务层：以分布式信息存储与检索平台为基础，调用数据通过专家模型库进行分析，发现窃密攻击行为以及数据回溯，实现核心专家模型算法，包括行为匹配算法，攻击行为挖掘算法，智能可疑行为发现算法，机器自动学习算法，模糊匹配算法，通过通用接口存储在数据存储中心的分布式存储平台中，计算时，通过接口发起作业，由数据存储中心的作业调度服务进程负责调度，由数据计算服务进程负责计算处理，并把结果反馈给大数据分析平台的分析模型；