[发明专利]实时数据处理方法和装置

说明书

本申请公开了一种实时数据处理方法和装置。其中，该处理方法包括：收集分布式系统中一个或多个节点接收到的实时数据；将所有节点上满足相同预定条件的实时数据进行汇总，得到相同预定条件下对应的实时数据的总量，其中，预定条件用于表征收集到实时数据的时间；计算满足相同预定条件的实时数据的齐全度，其中，齐全度用于指示：处理完的满足相同预定条件的实时数据在汇总的所有节点上的实时数据中的比例。通过本申请解决了现有技术无法获知对实时数据处理的进度所导致的问题，从而增加了对实时数据处理的评估维度。

技术领域

本申请涉及数据处理领域，具体而言，涉及一种实时数据处理方法和装置。

背景技术

在现有的实时数据计算领域中，流数据是源源不断的，不知道什么时候是个头，这样实时统计出来的数据也是实时变化的。由于实时统计的数据是一直变动的，使用这些数据的业务方对这些数据处理的进度完全无感知，因此，无法根据这些数据做出一些决断性质的行为，比如，统计的预设分钟内的销售额，是一直变动的，决策者无法根据这些数据确定是否进行销售策略的改变；又如，若是报警监控系统里的实时数据，由于实时数据的不断变动，该系统无法根据这些数据做出准确的报警行为。即在现有技术中没有参数可以用来评估实时数据处理的进度。

目前，常用的实时数据的处理方式为以下两种：

如图1所示，对于统计1分钟的日志的错误个数，如果超过100个就报警。比如有一分钟的100个是分4次来的，即每次都来25个。

对于第一种方案，如图2所示，每来25个就计算一次，第二次来就再计算一次，通过这样累加的方式对实时数据进行处理。每次处理完都会将数据存到数据库里。即，每来25个都会马上经过实时计算引擎，然后经过内存，最终到达数据库，是从数据源一路到达数据库的。目前第一种方案是业内采用最多的方式。因为可以保证数据的完整性。但是缺点是，数据库的数据会不断的变化，这样就不能做精准的决策。

对于第二种方案，如图3所示，可以是一开始指定一个预计的超时时间，例如，2分钟超时。假设4次25个是分4个时间段进来的，前3次在2分钟内到达，第4次在2分钟后才到。那么这种方案只会记录前三次的75个，只存一次数据库，即图3中的内存会等待2分钟，2分钟过了之后才会存入数据库。这样做的好处是可以对于数据库来说，只要有数据，就是不会再变了，可以根据这个数据直接做出决策，比如交易下跌，赶紧马上更换广告位的品牌，可以在最快的时间内挽回交易额。但是这种方案的缺点就是，过了超时时间的数据会丢掉(如图中虚线所示的第四次的25个)，因此，会存在误差。

针对现有技术无法获知对实时数据处理的进度所导致的问题，目前尚未提出有效的解决方案。

发明内容

本申请实施例提供了一种实时数据处理方法和装置，以至少解决现有技术无法获知对实时数据处理的进度所导致的问题。

根据本申请实施例的一个方面，提供了一种实时数据处理方法，该处理方法包括：收集分布式系统中一个或多个节点接收到的实时数据；将所有节点上满足相同预定条件的实时数据进行汇总，得到相同预定条件下对应的实时数据的总量，其中，预定条件用于表征收集到实时数据的时间；计算满足相同预定条件的实时数据的齐全度，其中，齐全度用于指示：处理完的满足相同预定条件的实时数据在汇总的所有节点上的实时数据中的比例

根据本申请实施例的另一方面，还提供了一种实时数据处理装置，该处理装置包括：收集模块，用于收集分布式系统中一个或多个节点接收到的实时数据；汇总模块，用于将所有节点上满足相同预定条件的实时数据进行汇总，得到相同预定条件下对应的实时数据的总量，其中，预定条件用于表征收集到实时数据的时间；计算模块，用于计算满足相同预定条件的实时数据的齐全度，其中，齐全度用于指示：处理完的满足相同预定条件的实时数据在汇总的所有节点上的实时数据中的比例。