[发明专利]一种数据获取方法及装置

权利要求书

1.一种数据获取方法，其特征在于，包括：

实时采集日志信息；

以统计规则为依据，基于采集到的日志信息，获得统计相关的原始数据，将获得的原始数据写入第一消息队列；

从所述第一消息队列中，收集与当前统计周期对应的原始数据；

在收集到与当前统计周期对应的原始数据时，根据收集到的当前原始数据、第一时间段的统计结果和所述统计规则，得到第二时间段的统计结果；

其中，所述第一时间段包括当前统计周期的开始时刻至前一次收集到的原始数据对应的时刻，所述第二时间段包括所述当前统计周期的开始时刻至所述当前原始数据对应的时刻；所述第一时间段的统计结果基于所述当前统计周期的开始时刻至所述前一次收集到的原始数据对应的时刻之间对应的各个原始数据和所述统计规则得到。

2.根据权利要求1所述的方法，其特征在于，所述第一消息队列基于KafKa实现。

3.根据权利要求1或2所述的方法，其特征在于，所述以统计规则为依据，基于采集到的日志信息，获得统计相关的原始数据，具体包括：

当所述采集到的日志信息中存在与所述统计规则匹配的字段时，基于所述与所述统计规则匹配的字段，得到所述原始数据。

4.根据权利要求3所述的方法，其特征在于，当统计周期为多个时，所述原始数据包括参与统计的数据和统计周期标识；所述基于所述与所述统计规则匹配的字段，得到所述原始数据，具体包括：

基于所述与所述统计规则匹配的字段和各个统计周期对应的统计周期标识，得到多个原始数据；

其中，得到的多个原始数据与所述统计周期一一对应，每个得到的原始数据携带对应统计周期的统计周期标识。

5.根据权利要求1或2所述的方法，其特征在于，在所述得到第二时间段的统计结果之后，还包括：

将得到的统计结果写入第二消息队列；

获取所述第二消息队列中的统计结果，将获取到的统计结果写入预设存储区域。

6.根据权利要求5所述的方法，其特征在于，所述第二消息队列基于KafKa实现。

7.一种数据获取装置，其特征在于，包括：

采集模块，用于实时采集日志信息；

整理模块，用于以统计规则为依据，基于所述采集模块采集到的日志信息，获得统计相关的原始数据；

第一写入模块，用于将所述整理模块获得的原始数据写入第一消息队列；

收集模块，用于从所述第一消息队列中，收集与当前统计周期对应的原始数据；

统计模块，用于根据所述收集模块收集到的当前原始数据、第一时间段的统计结果和所述统计规则，得到第二时间段的统计结果；

其中，所述第一时间段包括当前统计周期的开始时刻至前一次收集到的原始数据对应的时刻，所述第二时间段包括所述当前统计周期的开始时刻至所述当前原始数据对应的时刻；所述第一时间段的统计结果基于所述当前统计周期的开始时刻至所述前一次收集到的原始数据对应的时刻之间对应的各个原始数据和所述统计规则得到。

8.根据权利要求7所述的装置，其特征在于，还包括：

第二写入模块，用于获取由所述统计模块写入第二消息队列中的统计结果，并将获取到的统计结果写入预设存储区域。

9.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，当所述计算机程序被处理器执行时，实现如权利要求1至6任一项所述的数据获取方法。

10.一种服务器，其特征在于，包括：处理器和存储器；

所述存储器，用于存储程序代码，并将所述程序代码传输给所述处理器；

所述处理器，用于根据所述程序代码中的指令，执行如权利要求1至6任一项所述的数据获取方法。