[发明专利]埋点采集数据校验的方法及装置

说明书

本发明公开一种埋点采集数据校验的方法及装置，涉及埋点测试技术领域，能够有效解决测试环境与生产环境中访问日志校验规则不统一，校验结果不准确的问题。该方法包括：统一测试环境和生产环境中埋点采集数据的校验规则，并配置测试页面的页面参数和业务参数；定时从测试环境中获取待测页面的埋点采集数据，和/或，定时从生产环境中获取待测页面的埋点采集数据；基于埋点采集数据查找对应测试页面的页面参数和业务参数，根据校验规则对埋点采集数据进行校验，输出校验结果。该装置应用有上述方案所提的方法。

技术领域

本发明涉及埋点测试技术领域，尤其涉及一种埋点采集数据校验的方法及装置。

背景技术

数据采集是大数据技术的第一步，埋点质量的高低直接影响下游数仓建设，人物画像构成等。因此，提高埋点质量显得尤其重要，现有埋点采集数据校验的主要做法有下面两种：

1、前端直接进行校验，缺点在于校验规则修改需要进行前端发布，不够灵活，通用性不强，无法做到大批量页面的校验。同时，对于并发量高的网站影响前端性能。

2、后端校验离线数据，缺点在于由于测试环境、生产环境的不相通，校验规则存在环境间的差异，往往会影响校验结果的准确性。若将生产环境的校验规则同步至测试环境，存在同步不及时和代价大的问题。

发明内容

本发明的目的在于提供一种埋点采集数据校验的方法及装置，能够有效解决测试环境与生产环境中访问日志校验规则不统一，校验结果不准确的问题。

为了实现上述目的，本发明的第一方面提供一种埋点采集数据校验方法，包括：

统一测试环境和生产环境中埋点采集数据的校验规则，并配置测试页面的页面参数和业务参数；

定时从测试环境中获取待测页面的埋点采集数据，和/或，定时从生产环境中获取待测页面的埋点采集数据；

基于所述埋点采集数据查找对应测试页面的页面参数和业务参数，根据所述校验规则对所述埋点采集数据进行校验，输出校验结果。

优选地，配置测试页面的页面参数和业务参数的方法包括：

在页面管理系统中配置包括测试页面基础信息和埋点参数信息的页面参数，所述基础信息至少包括测试页面的页面编码，所述埋点参数信息包括多项埋点测试参数；

在业务管理系统中配置测试页面的业务参数，所述业务参数包括业务描述信息和校验规则信息。

较佳地，定时从测试环境中获取待测页面的埋点采集数据，和/或，定时从生产环境中获取待测页面的埋点采集数据的方法包括：

定时从测试环境和准生产环境获取访问日志，所述访问日志中包括埋点采集数据；和/或，定时从生产环境中获取离线表，所述离线表中包括埋点采集数据；

所述埋点采集数据中包括待测页面的基础信息和埋点参数信息。

优选地，基于所述埋点采集数据查找对应测试页面的页面参数和业务参数，根据所述校验规则对所述埋点采集数据进行校验，输出校验结果的方法包括：

校验从待测页面中获取所述埋点采集数据中的页面参数是否存在页面编码，若不存在则输出页面未埋点的校验结果；

若存在则基于所述页面编码从页面管理系统中匹配出对应测试页面的埋点参数和业务参数，并将所述埋点采集数据按照所述校验规则一一对应的与测试页面中的埋点参数和业务参数比对，根据比对结果输出校验结果。

优选地，将所述埋点采集数据按照所述校验规则一一对应的与测试页面中的埋点参数和业务参数比对，根据比对结果输出校验结果的方法包括：

识别所述埋点采集数据中的埋点项和每个埋点项的对应参数，判断所述埋点项在对应测试页面中是否为必要埋点，且埋点项的对应参数是否为固定参数；