[发明专利]一种数据处理方法及装置有效
申请号: | 201711044290.X | 申请日: | 2017-10-31 |
公开(公告)号: | CN107704373B | 公开(公告)日: | 2021-08-27 |
发明(设计)人: | 马元文 | 申请(专利权)人: | 北京奇艺世纪科技有限公司 |
主分类号: | G06F11/34 | 分类号: | G06F11/34 |
代理公司: | 北京集佳知识产权代理有限公司 11227 | 代理人: | 王宝筠 |
地址: | 100080 北京市海淀*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 数据处理 方法 装置 | ||
1.一种数据处理方法,其特征在于,所述方法包括:
接收来自数据源的多条数据,每条数据携带有时间戳;
根据每条数据的时间戳,按预设规则判断在第一预设周期内接收到的每条数据是否延迟;
对所述第一预设周期内接收到的未延迟数据进行实时统计,得到所述第一预设周期的实时数据统计结果;
对延迟数据进行存储,并将时间戳在所述第一预设周期内且在第二预设周期接收到的数据确定为所述第一预设周期的延迟数据,所述第二预设周期大于所述第一预设周期;
对所述第一预设周期的延迟数据进行统计,得到所述第一预设周期的延迟数据统计结果;
将所述第一预设周期的实时数据统计结果与延迟数据统计结果进行合并,得到所述第一预设周期的数据统计结果。
2.根据权利要求1所述的方法,其特征在于,所述根据每条数据的时间戳,按预设规则判断在所述第一预设周期内接收到的每条数据是否延迟,包括:
获取所述第一预设周期内接收到的各条数据的时间戳,得到最大时间戳;
将比所述最大时间戳早预设时间的时间戳定义为预设时间戳;
将时间戳小于所述预设时间戳的数据确定为延迟数据,并将时间戳不小于所述预设时间戳的数据确定为未延迟数据。
3.根据权利要求1所述的方法,其特征在于,所述对所述第一预设周期内接收到的未延迟数据进行实时统计,具体为:
按预设统计指标对所述第一预设周期内接收到的未延迟数据进行统计。
4.根据权利要求1所述的方法,其特征在于,所述对所述第一预设周期的延迟数据进行统计,具体为:
按预设统计指标对所述第一预设周期内接收到的延迟数据进行统计。
5.根据权利要求1所述的方法,其特征在于,所述方法还包括:
定义所述第一预设周期的最晚延迟时间,将时间戳在所述第一预设周期内且在所述最晚延迟时间之后接收到的数据丢弃。
6.根据权利要求1所述的方法,其特征在于,在得到所述第一预设周期的实时数据统计结果之后,所述方法还包括:
对所述第一预设周期的实时数据统计结果进行展示;
在得到所述第一预设周期的数据统计结果之后,所述方法还包括:
对所述第一预设周期的数据统计结果进行展示。
7.一种数据处理装置,其特征在于,所述装置包括:
接收单元,用于接收来自数据源的多条数据,每条数据携带有时间戳;
第一判断单元,用于根据每条数据的时间戳,按预设规则判断在第一预设周期内接收到的每条数据是否延迟;
第一统计单元,用于对所述第一预设周期内接收到的未延迟数据进行实时统计,得到所述第一预设周期的实时数据统计结果;
第二判断单元,用于对延迟数据进行存储,并将时间戳在所述第一预设周期内且在第二预设周期接收到的延迟数据确定为所述第一预设周期的延迟数据,所述第二预设周期大于所述第一预设周期;
第二统计单元,用于对所述第一预设周期的延迟数据进行统计,得到所述第一预设周期的延迟数据统计结果;
统计结果修复单元,用于将所述第一预设周期的实时数据统计结果与延迟数据统计结果进行合并,得到所述第一预设周期的数据统计结果。
8.根据权利要求7所述的装置,其特征在于,所述第一判断单元包括:
获取子单元,用于获取所述第一预设周期内接收到的各条数据的时间戳,得到最大时间戳;
定义子单元,用于将比所述最大时间戳早预设时间的时间戳定义为预设时间戳;
确定子单元,用于将时间戳小于所述预设时间戳的数据确定为延迟数据,并将时间戳不小于所述预设时间戳的数据确定为未延迟数据。
9.根据权利要求7所述的装置,其特征在于,所述第一统计单元具体用于:按预设统计指标对所述第一预设周期内接收到的未延迟数据进行统计。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京奇艺世纪科技有限公司,未经北京奇艺世纪科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201711044290.X/1.html,转载请声明来源钻瓜专利网。