[发明专利]标签预处理方法、装置、计算机设备和存储介质

说明书

本申请涉及一种标签预处理方法、装置、计算机设备和存储介质，方法包括：根据预处理标签的任务类型配置相关数据信息；读取相关数据信息中的第一配置信息，得到Aviator表达式和预处理标签，解析预处理标签得到原子标签，在本地缓存应用中建立预处理标签和原子标签之间的键对值关系；基于本地缓存应用中的键值对关系构建用户范围查询数据库，利用流批一体结构化查询语言引擎进行用户范围查询，得到用户范围数据；基于Aviator表达式和用户范围数据，计算获取预处理标签的值，根据预设的存储机制储存预处理标签的计算值。本申请可以解决现有标签系统超时的问题，降低人群标签开发的复杂度，极大提升了数据的处理能力，并能够大幅提升存储机构的存储空间。

技术领域

本申请涉及大数据处理的技术领域，特别是涉及一种标签预处理方法、装置、计算机设备和存储介质。

背景技术

随着互联网应用的快速发展，数据分析在业务决策中重要性日渐提升，数据分析业务通常需要对所要分析数据进行标签提取、过滤等预处理操作，但是，数据标签处理过程中数据来源众多、标签规则多样且网络环境复杂。传统的数据标签处理方法需要过多的人工干预，标签处理过程自动化程度低，处理方法复杂，数据分析工作的效率低，且无法适用于多种数据来源的标签处理，因此，通用性差、准确度低，针对需要人工干预的现有技术，提出一种智能化的数据处理平台即VSP标签系统(唯品会金融标签系统)，但现有VSP标签系统依然存在以下几点问题：

1、由于标签依赖层级较多，实时计算时间就会过长，导致热点复杂标签出现大量超时的情况，对业务稳定运行带来极大风险；

2、Storm(分布式实时大数据处理系统)集群维护成本高，即将下线不再维护，迫切需要改用Flink(Apache基金会旗下的一个开源大数据处理框架)集群替换；

3、业务快速发展，标签数量增长过快，对于上亿级别的用户数据处理，Storm集群作业的处理时间越来越长；

4、系统Redis(Remote Dictionary Server，数据结构服务器)内存使用率极高，随着业务发展，内存增长过快。

因此，亟需提出一种稳定高效、可以实现海量数据处理及存储的标签预处理方法、装置、计算机设备和存储介质。

发明内容

基于此，有必要针对上述技术问题，提供一种稳定高效、可以实现海量数据处理及存储的标签预处理方法、装置、计算机设备和存储介质。

一方面，提供一种标签预处理方法，所述方法包括：

步骤A：根据预处理标签的任务类型配置相关数据信息；

步骤B：读取所述相关数据信息中的第一配置信息，得到Aviator表达式和预处理标签，解析所述预处理标签得到原子标签，并在本地缓存应用中建立所述预处理标签和所述原子标签之间的键对值关系；

步骤C：基于所述本地缓存应用中的键值对关系构建用户范围查询数据库，利用流批一体结构化查询语言引擎进行用户范围查询，得到用户范围数据；

步骤D：基于所述Aviator表达式和所述用户范围数据，计算获取所述预处理标签的值，根据预设的存储机制储存所述预处理标签的计算值。

在其中一个实施例中，还包括：所述相关数据信息包括所述第一配置信息和第二配置信息，具体为：所述第一配置信息包括自助人群管理表、人群配置管理表和属性配置管理表，在新增/修改所述第一配置信息时，添加标签预处理选项，在列表操作列，添加预处理状态查看选项；所述第二配置信息包括监控表，所述监控表的配置过程包括：配置交互功能：在列表上添加预设队列字段；新增/编辑监控表，添加预设队列项；在列表上添加业务抽数表名字段；新增/编辑监控表功能，添加业务抽数表名项；初始化配置：对接现有表的所述预设队列项，并更新监控表记录，更新现有记录的业务抽数表名。