[发明专利]一种数据处理方法及装置

说明书

本发明实施例公开了一种数据处理方法及装置，所述方法包括：获取具有特定排列顺序的第一异常数据向量；获取具有所述特定排列顺序的至少两个第一参考数据向量；利用所述至少两个第一参考数据向量对所述第一异常数据向量进行修复。

技术领域

本发明涉及大数据分析技术领域，尤其涉及一种数据处理方法及装置。

背景技术

目前各大数据服务平台均围绕数据采集、数据挖掘、数据应用及数据共享，在包括环保、安全、健康等众多领域推出产品和服务。在以车辆网相关的大数据支持与应用服务为例来说，由于数据采集的准确性受诸多因素的影响，数据异常的情况时有发生。相关技术中，为了实现异常数据的修复，通常采用线性插值法或数据点平滑处理算法。

然而，相关技术中的数据修复算法存在如下明显的缺陷：1)算法不够成熟，修复准确性低；2)算法执行时间长，不稳定；3)很多异常数据不能识别或识别不准确。

发明内容

本发明实施例为了有效克服现有数据修复算法的缺陷，创造性地提供一种数据处理方法及装置。

根据本发明的第一方面，提供一种数据处理方法，所述方法包括：获取具有特定排列顺序的第一异常数据向量；获取具有所述特定排列顺序的至少两个第一参考数据向量；利用所述至少两个第一参考数据向量对所述第一异常数据向量进行修复。

根据本发明一实施方式，其中，利用所述至少两个第一参考数据向量对所述第一异常数据向量进行修复，包括：确定所述第一异常数据向量中至少一个异常数据位；根据所确定的所有异常数据位省略所述第一异常数据向量中的异常数据，得到第二异常数据向量；根据所确定的所有异常数据位分别省略所述至少两个第一参考数据向量中对应数据位的数据，得到至少两个第二参考数据向量；针对所述至少两个第二参考数据向量中每一个第二参考数据向量，分别确定每一个第二参考数据向量与第二异常数据向量之间的相似度；基于每一个第二参考数据向量与第二异常数据向量之间的相似度，根据所述至少两个第一参考数据向量对所述第一异常数据向量进行修复。

根据本发明一实施方式，其中，针对所述至少两个第二参考数据向量中每一个第二参考数据向量，分别确定每一个第二参考数据向量与第二异常数据向量之间的相似度，包括：针对所述至少两个第二参考数据向量中每一个第二参考数据向量，分别计算每一个第二参考数据向量与第二异常数据向量之间的余弦相似度。

根据本发明一实施方式，其中，针对所述至少两个第二参考数据向量中每一个第二参考数据向量，分别确定每一个第二参考数据向量与第二异常数据向量之间的相似度，包括：针对所述至少两个第二参考数据向量中每一个第二参考数据向量，分别确定每一个第二参考数据向量与第二异常数据向量之间的距离；根据所确定的每一个第二参考数据向量与第二异常数据向量之间的距离，进一步确定每一个第二参考数据向量与第二异常数据向量之间的相似度。

根据本发明一实施方式，其中，基于每一个第二参考数据向量与第二异常数据向量之间的相似度，根据所述至少两个第一参考数据向量对所述第一异常数向量进行修复，包括：针对所述第一异常数据向量中任一异常数据位，分别采用如下方式进行数据修复：根据所述异常数据位分别从所述至少两个第一参考数据向量中获取对应异常数据位的数据；将每一个第二参考数据向量与第二异常数据向量之间的相似度对应作为从每一个第二参考数据向量所获取的对应异常数据位的数据的加权因子，将所有获取的对应异常数据位的数据进行加权平均，得到加权平均值；将所述加权平均值作为对应所述第一异常数据向量对应异常数据位的修复数据来修复所述第一异常数据向量中的异常数据。

根据本发明的第二方面，还提供一种数据处理装置，所述装置包括：第一获取模块，用于获取具有特定排列顺序的第一异常数据向量；第二获取模块，用于获取具有所述特定排列顺序的至少两个第一参考数据向量；数据修复模块，用于利用所述至少两个第一参考数据向量对所述第一异常数据向量进行修复。