[发明专利]一种海量数据分析系统及方法

权利要求书

1.一种海量数据分析系统，包括海量数据采集单元以及海量数据加工处理单元，所述海量数据采集单元的输出端电连接有海量数据加工处理单元的输入端，其特征在于，所述海量数据采集单元的输出端电连接有海量数据加工处理单元内部海量数据获取模块的输入端，所述海量数据获取模块的输出端电连接有海量数据解码模块的输入端，所述海量数据解码模块的输出端电连接有海量数据存储管理单元的输入端，所述海量数据存储管理单元的输出端电连接有海量数据分析单元的输入端，所述海量数据分析单元的输出端电连接有用户终端的输入端；

所述海量数据存储管理单元包括海量数据入库模块、海量数据处理模块、海量数据清除模块、海量数据控制模块、海量数据备份与恢复模块、海量数据迁移与回迁模块、海量数据接口模块以及海量数据存储模块。

2.根据权利要求1所述的一种海量数据分析系统，其特征在于，所述海量数据采集模块包括关键词获取模块、关键词编码模块以及标准化处理模块，获取用户输入的关键词，根据预设的编码方式对所述关键词编码后得到对应的第一数据，以此获取海量数据，从各类海量数据源收集海量数据到数据处理中心，对所收集的各类海量数据进行格式检查和标准化处理。

3.根据权利要求1所述的一种海量数据分析系统，其特征在于，所述海量数据分析单元包括海量数据接收模块、原有数据存储模块、海量数据对比模块以及对比结果发送模块，将原有数据存于原有数据存储模块中，将原有数据存储模块中存储的海量数据以各种方式与用户之间进行交互，满足用户对海量数据的访问需求。

4.根据权利要求1所述的一种海量数据分析系统，其特征在于，所述数据存储管理模块的具体实现方法是：按照统一的海量数据库对象模型和存储规范，生成数据库的存储管理结构，包括存储空间、存储结构和数据目录。

5.根据权利要求1所述的一种海量数据分析系统，其特征在于，所述海量数据存储模块包括在线存储、近线存储、离线存储以及虚拟存储，所述在线存储用于海量数据的在线存储，近线存储用于数据近线存储，离线存储用于在海量数据备份或归档后进行存储，虚拟存储用于缓解离线所述海量数据备份时的压力，减小备份时间。

6.根据权利要求5所述的一种海量数据分析系统，其特征在于，所述在线存储包括4台磁盘阵列，所述近线存储包括3台磁盘阵列，所述离线存储包括2台磁带库，虚拟存储包括1台磁盘阵列。

7.根据权利要求1所述的一种海量数据分析方法，其特征在于，步骤如下：

S1、通过获取用户输入的关键词，根据预设的编码方式对关键词编码后得到对应的第一数据，以此获取海量数据；

S2、从各类海量数据源收集海量数据到数据处理中心，对所收集的各类海量数据进行格式检查和标准化处理，将获取的海量信息传输到海量数据加工处理单元；

S3、将解码处理好的海量数据传输到海量数据存储管理单元中，按照统一的海量数据库对象模型和存储规范，生成数据库的存储管理结构，包括存储空间、存储结构和数据目录；

S4、将步骤S3中整理的数据进行数据存储，在线存储用于海量数据的在线存储，近线存储用于数据近线存储，离线存储用于在海量数据备份或归档后进行存储，虚拟存储用于缓解离线所述海量数据备份时的压力；

S5、将存储后的海量数据通过访问接口模块传输到海量数据分析单元，将原有数据存储模块中存储的海量数据以各种方式与用户之间进行交互，满足用户对海量数据的访问需求；

S6、数据分析对比结果通过对比结果发送模块传输给用户终端。