[发明专利]一种用户画像标签数据质量的监控方法

说明书

本发明属于互联网技术领域，公开了一种用户画像标签数据质量的监控方法，为了解决代码脚本迭代和逻辑更新带来的字段顺序插入错乱问题。本发明包括：(1)获取画像标签宽表以及上游表；(2)创建第一画像标签宽表影子表和上游表影子表；(3)为上游表影子表构造数据；(4)为第一画像标签宽表影子表构造数据并增加校验字段；(5)获取脚本，并将脚本的上游表替换成上游表影子表，同时创建第二画像标签宽表影子表，将脚本的画像标签宽表替换成第二画像标签宽表影子表，并将脚本执行后的结果插入到第二画像标签宽表影子表中；(6)比较第一画像标签宽表影子表和第二画像标签宽表影子表中的校验字段。

技术领域

本发明属于互联网技术领域，具体涉及一种用户画像标签数据质量的监控方法。

背景技术

用户画像是企业为用户提供精准营销服务的基础之一，通过对用户信息进行标签化处理来刻画用户的商业全貌，其质量直接影响了企业对用户的服务水平。伴随各项业务的开展，数据不断积累，用户画像标签也在不断的丰富和完善，在标签开发过程中，如何管控标签数据的质量是相关开发测试人员必须面对的问题，例如用户标签上线下线规范、标签数据质量监控等。由于数据质量的监控是一个持续又繁琐的过程，因而通常会引入一些自动化规则化的手段来实现，常见的数据质量监控方式包括对结果表行数监控、主键是否重复监控、字段空值率监控等，这些监控方式嵌入在数据的每个流转节点中，虽然监控的方式很多，但仍然不能完全避免标签数据质量问题的产生，直接影响了上层应用使用。

业务在快速发展过程中往往包含了较多的不确定性，为了紧跟业务节奏，快速响应灵活多变的业务诉求，相应的标签数据也需要经历快速更新和迭代，例如标签的增减、标签加工逻辑的变更等，标签数据一般以宽表的形式被导入到下游应用系统消费，在标签数量不多的情况下通过人工CR可以确保字段的插入顺序以及每个字段的加工逻辑都能符合预期，然而当标签的数量增加到几百个甚至更多时，难免会遇到表字段插入顺序与表结构声明不一致的情况，依靠人工去逐个字段的CR数据清洗脚本，一方面不能保证经过人工CR后的结果一定是正确的，另一方面人工核对的工作量会随标签数量的丰富而增大，并且频繁的迭代和标签加工逻辑调整变更也会加重这种繁琐的重复劳动。

现有的数据质量自动化监控手段对标签字段插入顺序错乱的问题很难有效的去发现并规避，因为字段出现插入顺序错乱不一定会触发质量监控规则告警，例如字段插入顺序错乱不会引起表行数出现大的波动，顺序发生错乱的字段类型之间能够进行相互转换也不会报数据插入异常错误等。如果有多段逻辑在往同一个用户标签宽表中插入数据时，还可能出现中间某一段逻辑的字段插入顺序是不对的，但当对全表抽样CR标签数据内容时不一定能抽到字段顺序发生错乱的部分，直到数据透出到前端页面展示或者应用到具体业务场景中时问题才被暴露。

在此背景下，需要一种手段或系统对用户画像标签宽表的生成结果进行校验，监测目标宽表生成过程中字段插入顺序异常的问题，同时能够快速定位出顺序出现错乱的字段位置，避免异常数据流到业务端，一则提升了用户画像标签数据的可用性和可靠性，另外也弥补了现有监控方式的不足。

发明内容

基于以上问题，本发明提供一种用户画像标签数据质量的监控方法，可以减少代码脚本迭代和逻辑更新带来的字段顺序插入错乱的问题。

为解决技术问题，本发明所采用的技术方案是：

一种用户画像标签数据质量的监控方法，其特征在于，包括如下：

(1)获取目标用户的画像标签宽表以及生成画像标签宽表需要依赖的上游表；

(2)根据画像标签宽表创建第一画像标签宽表影子表，根据上游表创建上游表影子表；

(3)为上游表影子表构造数据；

(4)为第一画像标签宽表影子表构造数据，并在第一画像标签宽表影子表中增加校验字段；