[发明专利]分布式实时大数据分析系统

摘要

本发明涉及大数据处理系统技术领域，具体为分布式实时大数据分析系统，包括数据输入模块、特征值获取模块、分片模块、节点路由模块、计算节点、数据输出模块，数据输入模块用于从数据源中获取数据，特征值获取模块用于从数据输入模块输入的数据中获取数据的特征值，分片模块用于根据特征值对数据进行分片，计算节点用于对数据进行业务逻辑分析和处理，节点路由模块包括节点状态检测记录子模块和节点匹配子模块，节点状态检测记录子模块用于检测和记录各个计算节点的存活状态。本发明提供的分布式实时大数据分析系统，能够避免了单点故障引起的数据丢失问题、数据处理压力问题。同时分布式架构可以动态负载均衡、横向扩展分析节点。

主权项

1.分布式实时大数据分析系统，其特征在于：包括数据输入模块、特征值获取模块、分片模块、节点路由模块、计算节点、数据输出模块，所述数据输入模块用于从数据源中获取数据，所述特征值获取模块用于从数据输入模块输入的数据中获取数据的特征值，所述分片模块用于根据特征值对数据进行分片，所述计算节点用于对数据进行业务逻辑分析和处理，所述节点路由模块包括节点状态检测记录子模块和节点匹配子模块，所述节点状态检测记录子模块用于检测和记录各个计算节点的存活状态，所述节点匹配子模块用于根据分片信息和各个计算节点的存活状态将数据分配到计算节点上，所述数据输出模块用于将计算节点的处理的中间数据以及结果数据实时输出到数据源中。