[发明专利]存储统计数据的方法和系统

说明书

本发明提供了一种存储统计数据的方法和系统，包括：将采集到的信息根据配置进行聚合，得到多个时间颗粒度的聚合语句，将聚合语句应用到与多个时间颗粒度对应的数据库中。本发明实时统计，无延迟，实时性高，查询快。本发明按照配置聚合指定的指标，颗粒度聚合同时进行，查询数据时能自动合理分配到各个时间颗粒度，能减少查询数据量，在按时间颗粒度存储数据前还有一层细分，按时间跨度存储颗粒度数据。

技术领域

本发明涉及性能监控领域，具体地，涉及查询和存储统计数据的方法和系统，尤其是存储交易的统计数据的方法和系统。

背景技术

随着近年来移动互联网、云计算以及物联网等新兴技术的飞速发展，其所带来数据呈爆炸式增长。例如2016年双十一期间，某互联网公司每秒钟处理17万笔交易。同样的，银行系统、证券系统每天都会处理数量巨大的交易，为了保证网络通畅、交易实时性，就需要由额外的监控系统来观察。在监控系统的观察中，通常会关注一些响应时间长、成功率低的交易，以及需要指定一个时间范围来查询交易，根据计算得出的统计数据来判断当前网络或应用的可用性。

现有技术中一种传统的技术方案是将交易逐笔存入数据库或磁盘，之后在指定时间范围内读取入库的交易记录，然后逐笔聚合成统计数据。这样的做法在时间范围不大或是该时间范围内交易量较少的情况下问题还不明显，但是，一旦时间范围扩大成几天或是交易量变得相对较多，则将反应出查询时间缓慢以及内存消耗增长的问题，这严重影响到服务器性能和用户的体验，并且在数据实时性上或查询性能上会有问题。

现有技术中另一种传统的技术方案是将数据逐笔存入数据库或磁盘后，依靠批处理程序将监控的交易信息转换成统计信息后存入数据库。这样的技术方案在数据实时性方面有所欠缺，不能应用在关键业务的监控上，并且在数据实时性上或查询性能上也会有问题。

现有技术中还有一种技术方案是实时的将交易信息聚合成统计信息存入数据库，既在数据实时性上有优势，又可以快速地执行数据查询。

专利文献CN102495851A，公开了一种时序数据的存储方法和存储装置,其是针对某些具体的数据存储查询应用，存在以下不足之处：1)只有两级时间时间颗粒度的存储，在查询时间范围较大的情况下，只能从第二级的时间颗粒度聚合数据，查询时间较长。2)实时统计时只能逐级时间颗粒度聚合统计数据。3)只能按照网络数据的四元组进行聚合统计。

专利文献CN103678627A，公开了一种统计数据的存储和查询方法，其针对某些具体的数据存储应用，存在以下不足之处：1)进行数据统计时必须等待低级时间桶完成后才能聚合高级时间桶。2)在指定时间范围内查询数据时将时间范围切割对应各个时间桶的子范围后从大时间桶逐次查询到小时间桶。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种查询和存储统计数据的方法和系统。

根据本发明提供的一种存储统计数据的方法，包括：

聚合应用步骤：将采集到的信息根据配置进行聚合，得到多个时间颗粒度的聚合语句，将聚合语句应用到与多个时间颗粒度对应的数据库中。

优选地，所述聚合应用步骤中，将实时采集的交易信息根据配置生成维度字段和指标字段，按照时间维度和/或自定义维度进行统计数据的聚合，得到初步聚合的统计数据，然后将初步聚合的统计数据均匀分发到下级处理器，在下级处理器中再进一步聚合后，生成各个时间颗粒度的聚合语句。

优选地，所述聚合应用步骤包括如下步骤：

数据采集步骤：实时采集网络上的交易数据，得到原始交易数据；

数据预处理步骤：对原始交易数据进行预处理；

数据聚合步骤：根据原始交易数据的预处理结构，生成数据更新语句；

数据存储步骤：将数据更新语句应用到数据库中；