[发明专利]数据归一化的方法、装置、电子设备及存储介质

权利要求书

1.一种数据归一化的方法，其特征在于，应用于在线模块，包括：

获取多个规则词表，所述多个规则词表由离线模块生成，所述多个规则词表分别记录不同作用范围的正则表达式；

获取目标网络地址；

根据所述多个规则词表，按照记录的正则表达式的作用范围由大至小的顺序，依次对所述网络地址进行字符匹配，得到归一化网络地址；

其中，所述获取多个规则词表，包括：

获取离线模块生成的前置通用规则、域名规则和页面规则；所述前置通用规则包括网络地址中异常字符的正则表达式；所述域名规则包括域名级网络地址中非域名部分的正则表达式；所述页面规则包括页面级的网络地址中非页面地址部分的正则表达式；所述前置通用规则包含的正则表达式的作用范围大于所述域名规则包含的正则表达式的作用范围，所述域名规则包含的正则表达式的作用范围大于所述页面规则包含的正则表达式的作用范围；

相应的，所述根据所述多个规则词表，按照记录的正则表达式的作用范围由大至小的顺序，依次对所述网络地址进行字符匹配，得到归一化网络地址，包括：

依次使用前置通用规则、域名规则和页面规则对所述网络地址进行字符匹配，得到归一化网络地址，其中，所述作用范围为所述正则表达式适配的网络地址的长度，或为所述正则表达式可处理的网路地址范围。

2.根据权利要求1所述的数据归一化的方法，其特征在于，所述获取多个规则词表，还包括：

获取离线模块生成的后置通用规则，所述后置通用规则包括黑名单网络地址；

相应的，在所述依次使用前置通用规则、域名规则和页面规则对所述网络地址进行字符匹配之后，还包括：

根据所述后置通用规则进行字符匹配，得到归一化网络地址。

3.根据权利要求1-2中任一项所述的数据归一化的方法，其特征在于，在所述获取多个规则词表之后，还包括：

查询是否更新规则词表；

若更新规则词表，根据预设更新地址获取更新的规则词表，所述更新的规则词表由离线模块生成。

4.一种数据归一化的方法，其特征在于，应用于离线模块，包括：

获取网络地址；

根据网络地址生成多个规则词表，所述多个规则词表分别记录不同作用范围的正则表达式；

将生成的所述多个规则词表发送至在线模块，以便所述在线模块根据所述多个规则词表进行网络地址的归一化处理；

其中，所述根据网络地址生成多个规则词表，包括：

根据网络地址生成前置通用规则、域名规则和页面规则；所述前置通用规则包括网络地址中异常字符的正则表达式；所述域名规则包括域名级网络地址中非域名部分的正则表达式；所述页面规则包括页面级的网络地址中非页面地址部分的正则表达式；所述前置通用规则包含的正则表达式的作用范围大于所述域名规则包含的正则表达式的作用范围，所述域名规则包含的正则表达式的作用范围大于所述页面规则包含的正则表达式的作用范围，其中，所述作用范围为所述正则表达式适配的网络地址的长度，或为所述正则表达式可处理的网路地址范围。

5.根据权利要求4所述的数据归一化的方法，其特征在于，所述根据网络地址生成域名规则和页面规则，包括：

获取增量网络地址，对增量网络地址进行抽样，得到多个待识别网络地址，所述增量网络地址包括增量的域名网络地址和增量的页面级网络地址；

使用所述前置通用规则对所述多个待识别网络地址进行正则表达式替换，得到预处理网络地址；

分别计算每个预处理网络地址指向的网页的网页签名和网页校验码；

若多个预处理网络地址的网页签名相同或网页校验码相同，则将所述多个预处理网络地址中预设符号后的参数去除，所述预设符号之后的字符为网页携带的参数信息；

将去除参数的多个预处理网络地址映射到同一个网络地址，得到域名规则和页面规则。

6.根据权利要求4所述的数据归一化的方法，其特征在于，所述将生成的所述多个规则词表发送至在线模块，包括：

当更新规则词表时，将更新的规则词表发送至预设更新地址。