[发明专利]一种大数据PB级分布式信息存储与检索平台

摘要

本发明公开了一种大数据PB级分布式信息存储与检索平台，包括数据采集层：采用分布式高速前端探针服务器，数据采集层用于完成针对海量设备的数据采集、回传；数据传输层：将信息采集层获取的信息进行数据的抽取、转换和加载后，通过分类信息的识别，分别将原始信息和分类信息进行上传，传输过程采用加密、单向传输模式，确保数据回传的安全性；数据存储层：存储来自不同数据源的数据，按业务应用需要将数据分类，对数据实行统一的管理与维护；核心业务层：调用数据通过专家模型库进行分析，发现窃密攻击行为以及数据回溯，实现核心专家模型算法；应用展示层：直接面向最终用户，集成了数据展示、用户权限管理、数据日志查询、数据输入功能。

主权项

1.一种大数据PB级分布式信息存储与检索平台，其特征在于：包括数据采集层、数据传输层、数据存储层、核心业务层和应用展示层；所述数据采集层：采用分布式高速前端探针服务器，其基于分布式专门用于网络高速探测，最大发包速度为1G/s，最大镜像数据带宽10G，实现数据主、被动获取和具有数据快速处理分析能力，所述数据采集层用于完成针对海量设备的数据采集、回传；所述数据传输层：将信息采集层获取的信息进行数据的抽取、转换和加载后，通过分类信息的识别，分别将原始信息和分类信息进行上传，传输过程采用加密、单向传输模式，确保数据回传的安全性；所述数据存储层：存储来自不同数据源的数据，按业务应用需要将数据分类，对数据实行统一的管理与维护，同时，存储层通过采用专用的索引算法，建立了文件索引层，实现数据的快速检索和调用；所述核心业务层：以分布式信息存储与检索平台为基础，调用数据通过专家模型库进行分析，发现窃密攻击行为以及数据回溯，实现核心专家模型算法，包括行为匹配算法，攻击行为挖掘算法，智能可疑行为发现算法，机器自动学习算法，模糊匹配算法，通过通用接口存储在数据存储中心的分布式存储平台中，计算时，通过接口发起作业，由数据存储中心的作业调度服务进程负责调度，由数据计算服务进程负责计算处理，并把结果反馈给大数据分析平台的分析模型；所述应用展示层：应用展示层是整个系统的门户，直接面向最终用户，集成了数据展示、用户权限管理、数据日志查询、数据输入功能，并提供了针对具有不同权限用户的个性化应用操作界面和信息汇聚展现界面；提供网络空间拓扑结构、网络设备分布图、工控设备隐患图、物联网设备隐患图、安全漏洞分布统计。