[发明专利]一种用于流计算的数据处理方法与设备有效
申请号: | 201410679749.3 | 申请日: | 2014-11-24 |
公开(公告)号: | CN105701018B | 公开(公告)日: | 2019-01-11 |
发明(设计)人: | 刘健男;黄晓锋 | 申请(专利权)人: | 阿里巴巴集团控股有限公司 |
主分类号: | G06F12/02 | 分类号: | G06F12/02 |
代理公司: | 上海百一领御专利代理事务所(普通合伙) 31243 | 代理人: | 陈贞健 |
地址: | 英属开曼群岛大开*** | 国省代码: | 开曼群岛;KY |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 用于 计算 数据处理 方法 设备 | ||
1.一种用于流计算的数据处理方法,其中,所述方法包括:
获取流计算信息中的目标消息;
通过布隆过滤器判断对应存储是否包括所述目标消息所对应的中间数据结果;
当判断所述对应存储包括所述中间数据结果时,检验所述中间数据结果是否已存在;
基于检验所得信息,对所述目标消息执行相应的数据计算。
2.根据权利要求1所述的方法,其中,检验所述中间数据结果是否已存在包括:
检验所述中间数据结果是否存在于对应内存;
其中,所述基于检验所得信息,对所述目标消息执行相应的数据计算包括:
若所述检验所得信息包括所述中间数据结果存在于所述对应内存,根据所述中间数据结果对所述目标消息执行相应的数据计算。
3.根据权利要求2所述的方法,其中,检验所述中间数据结果是否已存在还包括:
若经检验所述中间数据结果不存在于所述对应内存,检验所述中间数据结果是否存在于对应辅助存储;
其中,所述基于检验所得信息,对所述目标消息执行相应的数据计算还包括:
若所述检验所得信息包括所述中间数据结果存在于所述对应辅助存储,将所述中间数据结果读入所述对应内存,并根据所述中间数据结果对所述目标消息执行相应的数据计算。
4.根据权利要求3所述的方法,其中,所述基于检验所得信息,对所述目标消息执行相应的数据计算还包括:
若所述检验所得信息包括所述中间数据结果不存在于所述对应辅助存储,对所述目标消息执行初始指标计算;并将初始指标计算中的中间数据结果存储于所述对应内存。
5.根据权利要求2或3所述的方法,其中,所述基于检验所得信息,对所述目标消息执行相应的数据计算还包括:
根据所述数据计算的结果更新对应存储中的所述中间数据结果。
6.根据权利要求1所述的方法,其中,所述基于检验所得信息,对所述目标消息执行相应的数据计算还包括:
当判断所述对应存储不包括所述中间数据结果时,对所述目标消息执行初始指标计算,并将初始指标计算中的中间数据结果存储于所述对应存储。
7.根据权利要求1所述的方法,其中,所述通过布隆过滤器判断对应存储是否包括所述目标消息所对应的中间数据结果包括:
通过布隆过滤器检测所述目标消息是否已存在;
若所述目标消息已存在,判断对应存储包括所述目标消息所对应的中间数据结果。
8.根据权利要求7所述的方法,其中,该方法还包括:
设置布隆过滤器的工作参数;
其中,所述通过布隆过滤器检测所述目标消息是否已存在包括:
通过所述布隆过滤器及所述工作参数检测所述目标消息是否已存在。
9.根据权利要求8所述的方法,其中,所述设置布隆过滤器的工作参数包括:
根据所述流计算信息所对应的应用相关信息设置布隆过滤器的工作参数。
10.一种用于流计算的数据处理设备,其中,所述设备包括:
第一装置,用于获取流计算信息中的目标消息;
第二装置,用于通过布隆过滤器判断对应存储是否包括所述目标消息所对应的中间数据结果;
第三装置,用于当判断所述对应存储包括所述中间数据结果时,检验所述中间数据结果是否已存在;
第四装置,用于基于检验所得信息,对所述目标消息执行相应的数据计算。
11.根据权利要求10所述的设备,其中,检验所述中间数据结果是否已存在包括:
检验所述中间数据结果是否存在于对应内存;
其中,所述第四装置用于:
若所述检验所得信息包括所述中间数据结果存在于所述对应内存,根据所述中间数据结果对所述目标消息执行相应的数据计算。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于阿里巴巴集团控股有限公司,未经阿里巴巴集团控股有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201410679749.3/1.html,转载请声明来源钻瓜专利网。
- 上一篇:数据存储量的预测方法和预测装置
- 下一篇:系统错误排除方法