[发明专利]一种大数据一体机

摘要

本发明提供一种大数据一体机，包括多个分布式数据存储模块，分布于相互独立的多个存储器，包括大量的存储节点；数据流模块，用于获取和传输数据流；多个计算机节点，与存储节点一一对应连接，以获取存储节点中存储的数据；数据挖掘模块，连接数据流模块和分布式数据存储模块，将所述数据流分类并根据数据流的类别将数据流传至相应的存储节点中存储；分布式数据管理模块，通过通道选择器与计算机节点连接，以将计算任务指派到与存储着该任务所需数据的存储节点相连接的计算机节点；多个分布式多级容错模块，与存储器一一对应，并连接所述数据流模块、数据挖掘模块、分布式数据管理模块和存储节点，数据流和命令流经对应的分布式多级容错模块。

主权项

1.一种大数据一体机，其特征在于：包括多个分布式数据存储模块，分布于相互独立的多个存储器，包括大量的存储节点；数据流模块，具有输入输出接口，用于获取和传输数据流；多个计算机节点，与每一所述存储器上的大量的所述存储节点一一对应连接，以获取对应的所述存储节点中存储的数据；数据挖掘模块，连接所述数据流模块和所述分布式数据存储模块，所述数据挖掘模块根据挖掘算法将所述数据流分类并根据数据流的类别将数据流传至相应的所述存储器中的相应的所述存储节点中存储；分布式数据管理模块，通过通道选择器与所述多个计算机节点连接，以将计算任务指派到与存储着该任务所需数据的所述存储节点相连接的所述计算机节点；多个分布式多级容错模块，与多个所述存储器至少一一对应，所述分布式多级容错模块连接所述数据流模块、所述数据挖掘模块、分布式数据管理模块和对应的所有所述存储节点，每一所述分布式多级容错模块以等级方式组织进程组，其中一所述进程组为主进程组，处于动态，其他所述进程组的交互状态由所述主进程组的检查点定期更新，若所述主进程组崩溃，采用后备执行选举算法在其他所述进程组中选择一个进程组作为新的主进程组，数据流的传输和存储及所述分布式数据管理模块发出的命令流经对应的所述分布式多级容错模块。