[发明专利]全量数据完整度的检测方法及装置

权利要求书

1.一种全量数据完整度的检测方法，其特征在于，包括：

提取全量数据中的第一IP列表，以及所述第一IP列表的访问轨迹数据；

加载基准数据，并提取所述基准数据中的第二IP列表，以及所述第二IP列表的访问轨迹数据；

对所述第一IP列表的访问轨迹数据和所述第二IP列表的访问轨迹数据进行匹配验证，包括：提取所述第一IP列表与所述第二IP列表中相同的IP，并记为交集IP；根据所述交集IP对所述第一IP列表的访问轨迹数据和所述第二IP列表的访问轨迹数据进行匹配验证；

根据匹配验证的结果，计算所述全量数据的完整度，计算所述全量数据的完整度包括：确定所述交集IP的访问轨迹数据在所述全量数据与所述基准数据中的匹配频次，记为第一频次；在所述基准数据中确定所述交集IP的访问轨迹数据的总频次，记为第二频次；计算所述第一频次与第二频次的商，以作为所述全量数据的完整度。

2.如权利要求1所述的全量数据完整度的检测方法，其特征在于，在提取所述全量数据对应的所述第一IP列表后，对所述第一IP列表进行归一化处理。

3.如权利要求2所述的全量数据完整度的检测方法，其特征在于，在对所述第一IP列表进行归一化处理后，剔除所述第一IP列表中重复的IP。

4.如权利要求1所述的全量数据完整度的检测方法，其特征在于，对所述第一IP列表的访问轨迹数据和所述第二IP列表的访问轨迹数据进行数据字段的归一化处理。

5.如权利要求1所述的全量数据完整度的检测方法，其特征在于，进行匹配验证之前，还包括：分别对所述第一IP列表的访问轨迹数据和所述第二IP列表的访问轨迹数据进行归并处理，以合并相同时间戳下的相同访问轨迹数据。

6.如权利要求1所述的全量数据完整度的检测方法，其特征在于，所述访问轨迹数据包括：在时间轴上访问的URL列表及其访问频次，和/或在时间轴上访问的域名列表及其访问频次。

7.一种全量数据完整度的检测装置，其特征在于，包括：

第一IP数据提取单元，适于提取全量数据中的第一IP列表，以及所述第一IP列表的访问轨迹数据；

数据加载单元，适于加载基准数据；

第二IP数据提取单元，适于提取所述基准数据中的第二IP列表，以及所述第二IP列表的访问轨迹数据；

匹配验证单元，适于对所述第一IP列表的访问轨迹数据和所述第二IP列表的访问轨迹数据进行匹配验证；所述匹配验证单元包括交集IP提取单元，适于提取所述第一IP列表与所述第二IP列表中相同的IP，并记为交集

IP；所述匹配验证单元根据所述交集IP对所述第一IP列表的访问轨迹数据和所述第二IP列表的访问轨迹数据进行匹配验证；

完整度计算单元，适于根据匹配验证的结果，计算所述全量数据的完整度，所述完整度计算单元适于确定所述交集IP的访问轨迹数据在所述全量数据与所述基准数据中的匹配频次，记为第一频次，在所述基准数据中确定所述交集IP的访问轨迹数据的总频次，记为第二频次，计算所述第一频次与第二频次的商，以作为所述全量数据的完整度。

8.如权利要求7所述的全量数据完整度的检测装置，其特征在于，还包括：IP归一化单元，适于在提取所述全量数据对应的所述第一IP列表后，对所述第一IP列表进行归一化处理。

9.如权利要求8所述的全量数据完整度的检测装置，其特征在于，还包括：IP去重单元，适于在对所述第一IP列表进行归一化处理后，剔除所述第一IP列表中重复的IP。

10.如权利要求7所述的全量数据完整度的检测装置，其特征在于，还包括：访问轨迹数据归一化单元，适于对所述第一IP列表的访问轨迹数据和所述第二IP列表的访问轨迹数据进行数据字段的归一化处理。