[发明专利]一种数据处理方法及装置在审
申请号: | 201810957006.6 | 申请日: | 2018-08-21 |
公开(公告)号: | CN108984798A | 公开(公告)日: | 2018-12-11 |
发明(设计)人: | 李明 | 申请(专利权)人: | 北京睦合达信息技术股份有限公司 |
主分类号: | G06F17/30 | 分类号: | G06F17/30 |
代理公司: | 暂无信息 | 代理人: | 暂无信息 |
地址: | 100102 北京市*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 参考数据向量 异常数据 数据处理 向量 修复 | ||
1.一种数据处理方法,其特征在于,所述方法包括:
获取具有特定排列顺序的第一异常数据向量;
获取具有所述特定排列顺序的至少两个第一参考数据向量;
利用所述至少两个第一参考数据向量对所述第一异常数据向量进行修复。
2.根据权利要求1所述的方法,其特征在于,利用所述至少两个第一参考数据向量对所述第一异常数据向量进行修复,包括:
确定所述第一异常数据向量中至少一个异常数据位;
根据所确定的所有异常数据位省略所述第一异常数据向量中的异常数据,得到第二异常数据向量;
根据所确定的所有异常数据位分别省略所述至少两个第一参考数据向量中对应数据位的数据,得到至少两个第二参考数据向量;
针对所述至少两个第二参考数据向量中每一个第二参考数据向量,分别确定每一个第二参考数据向量与第二异常数据向量之间的相似度;
基于每一个第二参考数据向量与第二异常数据向量之间的相似度,根据所述至少两个第一参考数据向量对所述第一异常数据向量进行修复。
3.根据权利要求2所述的方法,其特征在于,针对所述至少两个第二参考数据向量中每一个第二参考数据向量,分别确定每一个第二参考数据向量与第二异常数据向量之间的相似度,包括:
针对所述至少两个第二参考数据向量中每一个第二参考数据向量,分别计算每一个第二参考数据向量与第二异常数据向量之间的余弦相似度。
4.根据权利要求2所述的方法,其特征在于,针对所述至少两个第二参考数据向量中每一个第二参考数据向量,分别确定每一个第二参考数据向量与第二异常数据向量之间的相似度,包括:
针对所述至少两个第二参考数据向量中每一个第二参考数据向量,分别确定每一个第二参考数据向量与第二异常数据向量之间的距离;
根据所确定的每一个第二参考数据向量与第二异常数据向量之间的距离,进一步确定每一个第二参考数据向量与第二异常数据向量之间的相似度。
5.根据权利要求2所述的方法,其特征在于,基于每一个第二参考数据向量与第二异常数据向量之间的相似度,根据所述至少两个第一参考数据向量对所述第一异常数据向量进行修复,包括:
针对所述第一异常数据向量中任一异常数据位,分别采用如下方式进行数据修复:
根据所述异常数据位分别从所述至少两个第一参考数据向量中获取对应异常数据位的数据;
将每一个第二参考数据向量与第二异常数据向量之间的相似度对应作为从每一个第二参考数据向量所获取的对应异常数据位的数据的加权因子,将所有获取的对应异常数据位的数据进行加权平均,得到加权平均值;
将所述加权平均值作为对应所述第一异常数据向量对应异常数据位的修复数据来修复所述第一异常数据向量中的异常数据。
6.一种数据处理装置,其特征在于,所述装置包括:
第一获取模块,用于获取具有特定排列顺序的第一异常数据向量;
第二获取模块,用于获取具有所述特定排列顺序的至少两个第一参考数据向量;
数据修复模块,用于利用所述至少两个第一参考数据向量对所述第一异常数据向量进行修复。
7.根据权利要求6所述的装置,其特征在于,所述数据修复模块包括:
确定单元,用于确定所述第一异常数据向量中至少一个异常数据位;
省略单元,用于根据所确定的所有异常数据位省略所述第一异常数据向量中的异常数据,得到第二异常数据向量;还用于根据所确定的所有异常数据位分别省略所述至少两个第一参考数据向量中对应数据位的数据,得到至少两个第二参考数据向量;
相似度确定单元,用于针对所述至少两个第二参考数据向量中每一个第二参考数据向量,分别确定每一个第二参考数据向量与第二异常数据向量之间的相似度;
数据修复单元,用于基于每一个第二参考数据向量与第二异常数据向量之间的相似度,根据所述至少两个第一参考数据向量对所述第一异常数据向量进行修复。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京睦合达信息技术股份有限公司,未经北京睦合达信息技术股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201810957006.6/1.html,转载请声明来源钻瓜专利网。