[发明专利]一种大数据一体机

权利要求书

1.一种大数据一体机，其特征在于：包括

多个分布式数据存储模块，分布于相互独立的多个存储器，包括多个存储节点；

数据流模块，具有输入输出接口，用于获取和传输数据流；

多个计算机节点，与每一所述存储器上的大量的所述存储节点一一对应连接，以获取对应的所述存储节点中存储的数据；

数据挖掘模块，连接所述数据流模块和所述分布式数据存储模块，所述数据挖掘模块根据挖掘算法将所述数据流分类并根据数据流的类别将数据流传至相应的所述存储器中的相应的所述存储节点中存储；

分布式数据管理模块，通过通道选择器与所述多个计算机节点连接，以将计算任务指派到与存储着该任务所需数据的所述存储节点相连接的所述计算机节点；

多个分布式多级容错模块，与多个所述存储器一对一的对应，所述分布式多级容错模块连接所述数据流模块、所述数据挖掘模块、分布式数据管理模块和对应的所有所述存储节点，每一所述分布式多级容错模块以等级方式组织进程组，其中一所述进程组为主进程组，处于动态，其他所述进程组的交互状态由所述主进程组的检查点定期更新，若所述主进程组崩溃，采用后备执行选举算法在其他所述进程组中选择一个进程组作为新的主进程组，数据流的传输和存储及所述分布式数据管理模块发出的命令流经对应的所述分布式多级容错模块。

2.如权利要求1所述的大数据一体机，其特征在于：所述挖掘算法为聚类算法、分类算法和预测算法中的一种或者多种，用于将数据分为访问率高的热点数据和访问率低的冷数据，所述冷数据被所述数据挖掘模块传至低速廉价的所述存储器中，所述热点数据被所述数据挖掘模块根据存储预取算法分配至高速且容量大的所述存储器中。

3.如权利要求1所述的大数据一体机，其特征在于：分布式数据管理模块包括多个管理节点，每一所述管理节点与一所述存储器对应，且与与之对应的所述存储器中的所有所述存储节点连接，每一所述管理节点包括：

本地数据库管理系统，负责管理与本管理节点对应的所述存储器中的数据；

和数据连接组件，连接该管理节点与其他所有管理节点。

4.如权利要求1所述的大数据一体机，其特征在于：所述通道选择器包括多个通道开关，所述通道开关的数量与所述计算机节点的数量一致，且与所述计算机节点一一对应连接。