[发明专利]一种流事件的处理方法及装置在审
申请号: | 201710842372.2 | 申请日: | 2017-09-18 |
公开(公告)号: | CN109947798A | 公开(公告)日: | 2019-06-28 |
发明(设计)人: | 方若洁;常耀斌;吴娜;许利群 | 申请(专利权)人: | 中国移动通信有限公司研究院;中国移动通信集团公司 |
主分类号: | G06F16/2455 | 分类号: | G06F16/2455;G06F9/54 |
代理公司: | 北京同达信恒知识产权代理有限公司 11291 | 代理人: | 郭润湘 |
地址: | 100032 北*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 队列 遗漏 溢出 数据库 读取 适应性调整 处理效率 处理性能 存储空间 空闲空间 灵活控制 事件保存 事件存储 事件到达 事件类型 预设条件 缓存池 捕获 并发 对流 保存 保证 | ||
1.一种流事件的处理方法,其特征在于,包括:
确定捕获的流事件的事件类型,以及确定对应所述流事件的事件类型设置的流队列;
确定所述流队列中不存在能够保存所述流事件的空闲空间时,将所述流事件保存至所述流队列在数据库中对应的存储空间内,以及在确定满足预设条件时,将所述流事件保存至所述流队列中等待处理;
其中,在所述流队列使用过程中,对所述流队列的使用情况进行监听,根据监听结果对所述流队列的队列长度进行相应调整。
2.如权利要求1所述的方法,其特征在于,在确定满足预设条件时,将所述流事件保存至所述流队列中等待处理,包括:
获知所述流事件被指定为最高处理优先级时,确定满足预设条件,从所述流队列在数据库中对应的存储空间内读取所述流事件,并将所述流事件保存至所述流队列中等待处理;或者,
获知所述流队列中已存在能够保存所述流事件的空闲空间,且所述流队列在数据库中对应的存储空间内未保存有其他流事件时,确定满足预设条件,直接将所述流事件保存至所述流队列中等待处理。
3.如权利要求1所述的方法,其特征在于,进一步包括:
获知所述流队列中已存在能够保存所述流事件的空闲空间,而所述流队列在数据库中对应的存储空间内保存有其他流事件时,从所述流队列在数据库中对应的存储空间内读取所述其他流事件,并将所述其他流事件保存至所述流队列中等待处理。
4.如权利要求1、2或3所述的方法,其特征在于,将所述流事件保存至所述流队列中等待处理之后,进一步包括:
读取所述流事件,确定所述流事件的事件类型和分片序号;
基于所述事件类型确定所述流事件对应的路由通道;
基于所述分片序号在所述路由通道中确定相应的解析模块;
将所述流事件发往所述解析模块进行处理。
5.如权利要求4所述的方法,其特征在于,进一步包括:
针对各个解析模块进行监听,获得监听结果;
基于监听结果,每确定一个解析模块生成流事件的处理结果时,选取一个视窗,并在在所述一个视窗中呈现所述处理结果。
6.如权利要求1、2或3所述的方法,其特征在于,在所述流队列使用过程中,对所述流队列的使用情况进行监听,根据监听结果对所述流队列的队列长度进行相应调整,包括:
在所述流队列使用过程中,按照设定周期对所述流队列进行监听,获得监听结果;
每获得一次监听结果,判断所述流队列中是否存在空闲空间;
若否,则采用预设的第一步长对所述流队列的队列长度进行扩展;
若是,则在确定所述流队列在数据库中对应的存储空间内未存储有流事件时,采用预设的第二步长对所述流队列的队列长度进行缩减。
7.如权利要求6所述的方法,其特征在于,进一步包括:
将所述第一步长预设为:所述流队列当前的队列长度的N1倍,其中,N1为预设参数;
将所述第二步长预设为:所述流队列中当前流事件数目+所述流队列当前空闲空间/N2,其中,N2为预设参数。
8.一种流事件的处理装置,其特征在于,包括:
捕获模块,用于确定捕获的流事件的事件类型,以及确定对应所述流事件的事件类型设置的流队列;
处理模块,用于确定所述流队列中不存在能够保存所述流事件的空闲空间时,将所述流事件保存至所述流队列在数据库中对应的存储空间内,以及在确定满足预设条件时,将所述流事件保存至所述流队列中等待处理;以及,
在所述流队列使用过程中,对所述流队列的使用情况进行监听,根据监听结果对所述流队列的队列长度进行相应调整。
9.一种流事件的处理装置,其特征在于,包括:
至少一个处理器,以及与所述至少一个处理器连接的存储器;
其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述至少一个处理器通过执行所述存储器存储的指令,执行如权利要求1-7任一项所述的方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机指令,当所述计算机指令在计算机上运行时,使得计算机执行如权利要求1-7中任一项所述的方法。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中国移动通信有限公司研究院;中国移动通信集团公司,未经中国移动通信有限公司研究院;中国移动通信集团公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201710842372.2/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种数据检查装置及方法
- 下一篇:对历史数据进行反压缩读取的方法及装置