[发明专利]一种基于喇叭状的时间切片处理方法

说明书

本发明公开了一种基于喇叭状的时间切片处理方法，所述的时间切片方法可根据用户的定义，使得时间切片的长度类似于喇叭状，离当前时间越近的时间切片长度越短，离当前时间越久的时间切片长度越长。基于喇叭状的时间切片处理方法主要分为四个部分：喇叭状时间切片的定义、喇叭状时间切片的创建、喇叭状时间切片的管理和喇叭状时间切片的查询。本发明提出的喇叭状时间切片方法可保留更大时间跨度的数据，并且节省大量的存储空间，进而降低大时间跨度下的指标查询延迟，使其依旧能在毫秒级的延时内返回查询结果。

技术领域

本发明涉及及网络信息处理领域，尤其涉及一种基于喇叭状的时间切片的处理方法，提供一种随时间推移动态调整时间切片长度数据处理及存储方法。

背景技术

在风控、营销等领域，经常会涉及如“某人过去24小时的总交易量”、“某人过去1周的交易最大额”等相关流式聚合计算问题。由于时间会一直向前推进，也会有更多的交易流水进入系统，因此在“过去24小时”、“过去1周”等这类限制下的聚合计算需要考虑时间一直在移动这个事实，从而需要对时间进行切片，然后对每个切片的流水进行聚合计算。

目前对于时间切片的处理技术主要分为三类：

1)滚动窗口：每个时间切片长度是固定的，且彼此相邻但不重叠；

2)滑动窗口：需要指定滑动步长和切片长度，时间切片的起始点会以固定的滑动步长向前推进，而时间切片的长度也是固定的；

3)会话窗口：根据会话间隔对时间进行切片，当一个切片在大于会话间隔的时间内没有接收到新数据，切片将会关闭，因此该类切片的长度是可变的。

前两种时间切片的处理技术有一个共同点，即时间切片长度固定。虽然它的原理和实现简单，但是当它应用到长期运行的时间切片聚合计算时，就会出现问题。考虑一个场景，该场景需要计算“过去一段时间的某人交易金额总和”的指标，查询时间跨度可长达1年，也可短至1秒，那么按照前两种时间切片的处理技术，其切片长度最多为1秒。然而当用户查询“过去1年某人的交易总和”时，系统可以有2种选择，但每种选择都会遇到问题：

第一种选择是：系统可以保存过去1年所有的时间切片，从而让用户查询到较为精确的结果。但是这种选择会产生以下几个问题：

1)由于时间切片数量过多，存储这些切片会占用过多存储空间。数据可以存储在内存以保证查询延时在几个到几十个毫秒内，但是内存容量有限，会导致服务无法容纳那么多的数据量，从而造成服务运行异常；

2)大量的数据也可以存储在磁盘，但是磁盘访问速度慢，导致指标计算和查询延迟过高，

此外，频繁的磁盘读写还会导致严重的性能抖动问题；

3)查询时，系统需要对这些切片进行再聚合，由于涉及到的时间切片过多，查询的延迟非常高，难以满足高频访问这部分数据的场景(如超低延时、超高并发实时风控场景)的性能要求。

第二种选择是：系统可以清理旧的时间切片(例如最旧的半年的时间切片)，从而节省存储空间。但是由于数据的丢失，在时间跨度大的查询(如查询“过去1年的某人的交易总金额”)时，用户查询的数据将会失准，同样无法满足业务需求。

对于第三种时间切片处理技术，由于其时间切片长度可变，因此会导致聚合计算的时间切片精度不可控制，无法满足业务场景。依旧考虑上文说明前两种时间切片处理技术的场景。假设定义一个基于会话的时间切片，并且用户需要查询“过去1秒某人的交易总和”，然而外部交易流水不断进入系统，导致1个小时内，会话一直没有过期。系统依旧有两种选择，但也有各自的问题：

1)系统可以保存原始流水，保证用户查询的准确性，但是它占用的存储空间不可控，当面对高频场景时，系统会占用过多的存储空间，并导致计算和查询的延迟过高，无法达到毫秒级延迟的要求；