[发明专利]数据处理方法及装置有效
申请号: | 201710083684.X | 申请日: | 2017-02-16 |
公开(公告)号: | CN107092637B | 公开(公告)日: | 2020-01-31 |
发明(设计)人: | 龚廖安;马超;金振;陈泽平;杨富栋;杜洪先 | 申请(专利权)人: | 北京星选科技有限公司 |
主分类号: | G06F16/215 | 分类号: | G06F16/215 |
代理公司: | 11610 北京太合九思知识产权代理有限公司 | 代理人: | 刘戈 |
地址: | 100085 北京市海淀区*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 数据处理 方法 装置 | ||
1.一种数据处理方法,其特征在于,包括:
获取未被作为业务关注数据存入数据库的异常数据;获取所述异常数据对应的标定数据;
根据所述标定数据,所述异常数据的生成时间以及所述标定数据的生成时间,对所述异常数据进行补全;
所述方法还包括:
获取预设时间段内具有相同属性信息的历史数据;
查找所述历史数据中数值最大的数据项,作为第一数据项;
按照预设的遍历策略,遍历所述历史数据中的数据项;
若遍历到的数据项相较所述第一数据项降幅未超过阈值,则将所述第一数据项更新为所述遍历到的数据项;
若遍历到的数据项相较所述第一数据项降幅超过所述阈值,则维持所述第一数据项不变;
继续遍历数据项直至满足终止条件为止,并将遍历结束时得到的所述第一数据项作为所述标定数据。
2.根据权利要求1所述的方法,其特征在于,所述获取异常数据,包括:
从网络侧获取符合预设业务关注需求的目标数据;
若未获取到所述目标数据,则创建缺失数据,并将所述缺失数据标记为异常数据;
若获取到所述目标数据,则对所述目标数据进行异常验证,并将未通过异常验证的所述目标数据标记为异常数据。
3.根据权利要求2所述的方法,其特征在于,对所述目标数据进行异常验证,包括:
获取所述目标数据对应的标定数据;
将所述目标数据与所述目标数据对应的标定数据进行比较,得到比较结果;
若所述比较结果不满足验证条件,则所述目标数据未通过所述异常验证。
4.根据权利要求2或3所述的方法,其特征在于,还包括:
将所述标定数据更新为通过所述异常验证的所述目标数据。
5.根据权利要求1至3中任一项所述的方法,其特征在于,还包括:
确定所述标定数据的生成时间距当前时间的时长;
若所述时长超过设定时长,则重新确定所述标定数据。
6.根据权利要求1至3中任一项所述的方法,其特征在于,所述异常数据中包含有用于区别数据所属对象的属性信息;以及
所述获取所述异常数据对应的标定数据,包括:
根据所述异常数据中包含的属性信息,查找具有相同属性信息的所述标定数据。
7.根据权利要求1至3中任一项所述的方法,其特征在于,还包括:
将所述数据项的生成时间记为所述标定数据的生成时间。
8.根据权利要求1至3中任一项所述的方法,其特征在于,根据所述标定数据,所述异常数据的生成时间以及所述标定数据的生成时间,对所述异常数据进行补全,包括:
根据所述异常数据的生成时间以及所述标定数据的生成时间,确定所述异常数据在生成时间上与所述标定数据的时差;
根据所述标定数据,确定所述异常数据在数值上与所述标定数据的差值;
基于所述时差、所述差值及所述异常数据,计算得到补全后的所述异常数据。
9.一种数据处理装置,其特征在于,包括:
第一获取模块,用于获取未被作为业务关注数据存入数据库的异常数据;
第二获取模块,用于获取所述异常数据对应的标定数据;处理模块,用于根据所述标定数据,所述异常数据的生成时间以及所述标定数据的生成时间,对所述异常数据进行补全;
所述装置还包括:
第三获取模块,用于获取预设时间段内具有相同属性信息的历史数据;
选取模块,用于查找所述历史数据中数值最大的数据项,作为第一数据项;按照预设的遍历策略,遍历所述历史数据中的数据项;若遍历到的数据项相较所述第一数据项降幅未超过阈值,则将所述第一数据项更新为所述遍历到的数据项;若遍历到的数据项相较所述第一数据项降幅超过所述阈值,则维持所述第一数据项不变;继续遍历数据项直至满足终止条件为止,并将遍历结束时得到的所述第一数据项作为所述标定数据。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京星选科技有限公司,未经北京星选科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201710083684.X/1.html,转载请声明来源钻瓜专利网。
- 上一篇:用于连接器外壳加工的火花机修边专用给排水系统
- 下一篇:一种搜索引擎系统