[发明专利]一种基于喇叭状的时间切片处理方法有效
申请号: | 202110144255.5 | 申请日: | 2021-02-02 |
公开(公告)号: | CN112905638B | 公开(公告)日: | 2022-05-17 |
发明(设计)人: | 王新根;王新宇;陈伟;王刚;叶金韬 | 申请(专利权)人: | 浙江邦盛科技有限公司 |
主分类号: | G06F16/2453 | 分类号: | G06F16/2453;G06F16/2458;G06Q20/38 |
代理公司: | 杭州求是专利事务所有限公司 33200 | 代理人: | 刘静 |
地址: | 310012 浙江省杭州市西湖*** | 国省代码: | 浙江;33 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 基于 喇叭 时间 切片 处理 方法 | ||
1.一种基于喇叭状的时间切片处理方法,其特征在于,包括以下步骤:
(1)喇叭状时间切片的定义:用户定义一个喇叭时间切片等级配置列表,其中喇叭时间切片等级记为Level;每个Level包含参数length和duration,其中length表示时间切片的长度,duration表示使用该Level进行切片的时间范围,范围为当前时间到往前回溯duration时长;将时间切片Level根据duration和length升序排序;
(2)喇叭状时间切片的创建:在完成喇叭状时间切片的定义后,按照定义,每个Level会根据duration和length升序进行排序,根据喇叭时间切片等级配置列表,创建每个Level;每个Level包含一个时间切片的队列,队列存储的时间切片个数最多为duration/length;
(3)喇叭状时间切片的管理:当获取原始流水数据后,按照下列流程进行管理:
(3.1)首先寻找距离当前时间最近的第一个Level,获取该Level的切片队列,判断队列头即距离当前时间最近的第一个时间切片是否为空,以及队列头的时间切片是否过期,即是否队列头的时间切片所携带的时间戳距离当前时间超过了该Level定义的length;
(3.2)若存在切片且没过期,则将根据用户自定义的指标计算逻辑,更新该切片存储的指标结果,流程结束;否则创建一个新的时间切片,根据指标计算逻辑计算并存储新的指标结果,并压入该Level保存的时间切片队列头部;
(3.3)判断该Level维护的时间切片队列是否已满;判断队列满的依据是:队列尾的时间切片所携带的时间戳距离当前时间超过了该Level定义的duration;若队列未满,则结束流程,否则:首先寻找下一个Level,获取其队列;不断地获取并移除当前Level时间切片队列队尾的切片,直到当前Level队列未满为止;对于每一个弹出时间切片,都会判断下一个Level的时间切片队列是否为空,以及队列头的时间切片是否过期,返回步骤(3.2),直到最后一个Level;对于最后一个Level在队列满弹出队尾的时间切片时,直接将该切片丢弃。
2.根据权利要求1所述的一种基于喇叭状的时间切片处理方法,其特征在于,所述时间切片包含了时间戳和存储的聚合数据。
3.根据权利要求1所述的一种基于喇叭状的时间切片处理方法,其特征在于,用户可以定义一个默认Level,适用于对最旧的数据进行切片,默认Level只需要定义length;默认Level在时间切片Level排序时排到最后;默认Level不会存在队列满的情况,因此当最后一个Level为默认Level时,不会丢弃切片数据。
4.根据权利要求1所述的一种基于喇叭状的时间切片处理方法,其特征在于,将时间切片Level根据duration和length升序排序,即为按照时间先后和切片精度排序,保证最新一部分数据的时间切片长度最短,范围最短,计算精度最高,而最旧一部分数据的时间切片长度最长,范围最长,计算精度最低。
5.根据权利要求1所述的一种基于喇叭状的时间切片处理方法,其特征在于,步骤(3.2)中用户自定义的指标计算逻辑为一个计算函数,它接受外部一组数据,经过计算后返回用户所需的指标数据。
6.根据权利要求1所述的一种基于喇叭状的时间切片处理方法,其特征在于,该处理方法还包括喇叭状时间切片的查询:具体如下:
a.根据查询给定的时间范围,搜索每个Level存储的时间切片,寻找时间范围下界对应的时间切片和时间范围上界对应的时间切片;
b.根据聚合计算逻辑,对步骤(a)中2个时间切片之间并且包含这2个时间切片的所有切片再进行一次聚合计算,返回给用户。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于浙江邦盛科技有限公司,未经浙江邦盛科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110144255.5/1.html,转载请声明来源钻瓜专利网。