[发明专利]数据归一化的方法、装置、电子设备及存储介质

说明书

本申请公开了数据归一化的方法、装置、电子设备及存储介质，涉及数据处理领域，尤其是网络地址归一化处理技术领域。具体实现方案为：获取多个规则词表，多个规则词表由离线模块生成，多个规则词表分别记录不同作用范围的正则表达式；获取目标网络地址；根据多个规则词表，按照记录的正则表达式的作用范围由大至小的顺序，依次对网络地址进行字符匹配，得到归一化网络地址。依次使用多个规则对目标网络地址进行正则表达式的匹配，提高了网络地址归一化处理的准确性。在线模块无需进行规则词表的生成，因此在线模块能够不间断的对获取到的目标地址进行归一化处理，提高了网络地址归一化处理效率。

技术领域

本申请涉及数据处理技术，尤其涉及网络地址归一化处理技术。

背景技术

在互联网广告投放过程中，商家十分关心投资回报率。在计算投资回报率(ROI)时，可根据用户点击的落地页的网络地址确定转化数据。商家为了监控投放的流量会在落地页中增加诸多的参数，导致很多的网络地址实际指向同一个落地页，此时需要对网络地址进行归一化。但是，在线的归一化效率较低。

发明内容

本申请实施例提供了一种数据归一化的方法、装置、电子设备及存储介质，可以实现提高网络地址的归一化效率。

本申请实施例提供了一种数据归一化的方法，应用于在线模块，包括：

获取多个规则词表，多个规则词表由离线模块生成，多个规则词表分别记录不同作用范围的正则表达式；

获取目标网络地址；

根据多个规则词表，按照记录的正则表达式的作用范围由大至小的顺序，依次对网络地址进行字符匹配，得到归一化网络地址。

上述申请实施例提供的数据归一化的方法，在线模块能够获取多个规则词表，在对目标网络地址进行归一化处理时，按照规则词表中正则表达式的作用范围由大至小的顺序，依次使用多个规则对目标网络地址进行正则表达式的匹配，提高了网络地址归一化处理的准确性。在线模块无需进行规则词表的生成，因此在线模块能够不间断的对获取到的目标地址进行归一化处理，提高了网络地址归一化处理效率。

在上述实施例的基础上，获取多个规则词表，包括：

获取离线模块生成的前置通用规则、域名规则和页面规则；前置通用规则包括网络地址中异常字符的正则表达式；域名规则包括域名级网络地址中非域名部分的正则表达式；页面规则包括页面级的网络地址中非页面地址部分的正则表达式；前置通用规则包含的正则表达式的作用范围大于域名规则包含的正则表达式的作用范围，域名规则包含的正则表达式的作用范围大于页面规则包含的正则表达式的作用范围；

相应的，根据多个规则词表，按照记录的正则表达式的作用范围由大至小的顺序，依次对网络地址进行字符匹配，得到归一化网络地址，包括：

依次使用前置通用规则、域名规则和页面规则对网络地址进行字符匹配，得到归一化网络地址。

上述申请实施例能够通过前置通用规则、域名规则以及页面规则实现由大范围至小范围的正则表达式匹配，使得具有较小粒度的页面规则和域名规则在前置通用规则之后执行，进而提高较小粒度规则词表的有效性。

在上述实施例的基础上，获取多个规则词表，还包括：

获取离线模块生成的后置通用规则，后置通用规则包括黑名单网络地址；

相应的，在依次使用前置通用规则、域名规则和页面规则对网络地址进行字符匹配，还包括：

根据后置通用规则进行字符匹配，得到归一化网络地址。

上述申请实施例能够在对目标网络地址依次使用前置通用规则、域名规则和页面规则进行处理之后，使用后置通用规则检查网络地址是否为黑名单中的网络地址，即具有安全隐患的网络地址，进而提高网络地址归一化结果的安全性。