[发明专利]全量数据完整度的检测方法及装置

说明书

一种全量数据完整度的检测方法及装置，所述检测方法包括：提取全量数据中的第一IP列表，以及所述第一IP列表的访问轨迹数据；加载基准数据，并提取所述基准数据中的第二IP列表，以及所述第二IP列表的访问轨迹数据；对所述第一IP列表的访问轨迹数据和所述第二IP列表的访问轨迹数据进行匹配验证；根据匹配验证的结果，计算所述全量数据的完整度。本发明全量数据完整度的检测方法可以提高对互联网中的全量数据完整度检测的准确性和可靠性，同时，不仅可以评估所述全量数据的完整度，还可以进一步对数据发生丢失的位置进行定位。

技术领域

本发明涉及互联网技术领域，特别涉及一种全量数据完整度的检测方法及装置。

背景技术

随着互联网技术的高速发展，电子产品大量普及，尤其是PC(Personal Computer，个人电脑)、手机等，使得中国的互联网使用人数飞速地攀升，那么，由互联网所产生的相关数据也在快速地膨胀，采集相关数据的企业也越来越多。在获取到这些互联网数据时，数据是否具备完整性十分重要，那么，如何检测并验证数据的完整程度则是一个需要解决的问题。

在现有技术中，对互联网中的数据的相关的验证方法主要集中总结为两种，分别为：经验验证法和抽样验证法。其中，经验验证法需要依靠相关行业中具有较深经验的人员对所述数据的总量进行统计，并凭借经验值进行验证；抽样验证法则是基于对所提供的数据采取抽样的方式进行统计，再根据统计的结果来进行判定。然而，经验验证法过度依赖于相关业务人员的素质和经验，抽样验证法则依赖于抽样选取的字段和抽样方法，容易跳过采样。上述两种验证方法均需要根据数据总量得到一个统计指标，才能判断数据的完整性程度。然而，由于所述数据在采集和存储的过程中可能由于某些原因引入噪音数据，如：网络传输的骤然中断导致所述数据的部分内容被写坏而形成坏行，所述被引入噪声的数据在不影响数据总量的基础上会有较大的概率绕过抽样，从而干扰到验证的结果，使验证结果不准确。

因此，现有技术的互联网中的全量数据面临着完整度无法被准确验证的问题。

发明内容

本发明解决的技术问题是互联网中的全量数据完整度的准确而有效验证的问题。

为解决上述技术问题，本发明实施例提供一种全量数据完整度的检测方法，包括：

提取全量数据中的第一IP列表，以及所述第一IP列表的访问轨迹数据；

加载基准数据，并提取所述基准数据中的第二IP列表，以及所述第二IP列表的访问轨迹数据；

对所述第一IP列表的访问轨迹数据和所述第二IP列表的访问轨迹数据进行匹配验证；

根据匹配验证的结果，计算所述全量数据的完整度。

可选地，在提取所述全量数据对应的所述第一IP列表后，对所述第一IP列表进行归一化处理。

可选地，在对所述第一IP列表进行归一化处理后，剔除所述第一IP列表中重复的IP。

可选地，对所述第一IP列表的访问轨迹数据和所述第二IP列表的访问轨迹数据进行数据字段的归一化处理。

可选地，进行匹配验证之前，还包括：分别对所述第一IP列表的访问轨迹数据和所述第二IP列表的访问轨迹数据进行归并处理，以合并相同时间戳下的相同访问轨迹数据。

可选地，对所述第一IP列表的访问轨迹数据和所述第二IP列表的访问轨迹数据进行匹配验证包括：

提取所述第一IP列表与所述第二IP列表中相同的IP，并记为交集IP；

根据所述交集IP对所述第一IP列表的访问轨迹数据和所述第二IP列表的访问轨迹数据进行匹配验证。