[发明专利]分布式实时大数据分析系统

说明书

本发明涉及大数据处理系统技术领域，具体为分布式实时大数据分析系统，包括数据输入模块、特征值获取模块、分片模块、节点路由模块、计算节点、数据输出模块，数据输入模块用于从数据源中获取数据，特征值获取模块用于从数据输入模块输入的数据中获取数据的特征值，分片模块用于根据特征值对数据进行分片，计算节点用于对数据进行业务逻辑分析和处理，节点路由模块包括节点状态检测记录子模块和节点匹配子模块，节点状态检测记录子模块用于检测和记录各个计算节点的存活状态。本发明提供的分布式实时大数据分析系统，能够避免了单点故障引起的数据丢失问题、数据处理压力问题。同时分布式架构可以动态负载均衡、横向扩展分析节点。

技术领域

本发明涉及数据处理系统技术领域，具体为分布式实时大数据分析系统。

背景技术

随着信息时代的到来，数据的积累成几何倍增长。为了从已有的海量数据中挖掘有效信息，出现了各种不同的数据分析算法和分析系统，随着信息量的增多，大数据和高并发成了分析系统运行所必须考虑的问题，解决上述问题的关键在于数据分流，数据分流包括集群式和分布式，集群是指将并发请求分配到不同的业务服务器上，然后通过各个服务器完成整个业务逻辑的处理；分布式是把单次请求的多项业务逻辑分配到多个服务器上，这样可以同步处理很多逻辑，一般使用于比较复杂的业务请求。

目前对于大数据实时分析系统的设计通常是基于数据分流来设计，此设计可以解决小数据量的数据流分析处理，但对于复杂且数据量大的实时处理会存在处理压力,如果某一节点故障则容易带来数据分流丢失的问题。因此这种设计并不适用于对实时性和数据完整性都有极高要求的系统。

发明内容

本发明意在提供分布式实时大数据分析系统，能够解决现有分析系统对于复杂且数据量大的实时处理会存在处理压力,而且容易因为单点故障而引起的数据丢失的问题。

为了解决上述技术问题，本专利提供如下技术方案：

分布式实时大数据分析系统，包括数据输入模块、特征值获取模块、分片模块、节点路由模块、计算节点、数据输出模块，所述数据输入模块用于从数据源中获取数据，所述特征值获取模块用于从数据输入模块输入的数据中获取数据的特征值，所述分片模块用于根据特征值对数据进行分片，所述计算节点用于对数据进行业务逻辑分析和处理，所述节点路由模块包括节点状态检测记录子模块和节点匹配子模块，所述节点状态检测记录子模块用于检测和记录各个计算节点的存活状态，所述节点匹配子模块用于根据分片信息和各个计算节点的存活状态将数据分配到计算节点上，所述数据输出模块用于将计算节点的处理的中间数据以及结果数据实时输出到数据源中。

本发明技术方案中，数据输入模块可以从不同的数据源中获取数据，系统接收到数据源后，获取数据的特征值，并根据特征值进行分片，然后根据分片信息将数据路由到指定的存活的计算节点，进行业务逻辑分析处理，在处理时根据业务及计算需要会从分布式缓存中拉取必要数据、更新部分数据等，业务逻辑处理过程中，由数据输出模块将中间数据以及结果数据实时输出到数据源中，方便后续业务进行拉取数据的需求，与现有技术相比，本方案采用分布式的实时分析处理设计，使过个业务逻辑可以同时进行，解决了数据处理压力问题；通过检测各个节点的存活状态，将数据分配至存活节点，通过记录中间数据以及结果数据，避免了单点故障引起的数据丢失问题。

进一步，还包括输出配置模块，所述输出配置模块用于配置数据输出模块数据的目标数据源。通过配置输出目标数据源，可以灵活配置多个输出，方便后缓业务的需求进行拉取数据。

进一步，所述节点路由模块还包括节点负载状态检测子模块，所述节点负载状态检测子模块用于检测存活的计算节点的负载状态，所述节点匹配子模块用于根据各个计算节点的负载状态进行数据的分配。在数据分配时对各个计算节点进行负载检测，实现动态负载均衡、减小数据处理压力。

进一步，所述数据源包括消息队列中间件、分布式缓存、数据库以及文件。