[发明专利]名单数据处理方法、装置、设备及存储介质

说明书

本发明涉及大数据技术领域，公开了一种名单数据处理方法、装置、设备及存储介质，用于通过拼接多个独立功能函数处理名单数据，降低代码的冗余性。名单数据处理方法包括：当接收到终端发送的创建名单同步任务请求时，对目标功能函数集进行代码拼接，得到名单同步任务；当接收到终端发送的执行名单同步任务请求时，通过源表取值功能函数获取待处理的名单数据；通过去重功能函数对待处理的名单数据进行去重处理，并将已去重的名单数据同步处理，得到第一名单数据；通过校验功能函数对第一名单数据进行黑名单校验，得到第二名单数据，第二名单数据包括已过滤黑名单的目标号码；通过目标表处理功能函数同步第二名单数据，并对目标号码进行语音呼叫。

技术领域

本发明涉及大数据技术的差异同步领域，尤其涉及一种名单数据处理方法、装置、设备及存储介质。

背景技术

水壶kettle是一种用于数据抽取、转换和装载的工具，可以在不同的操作系统上运行，数据抽取高效稳定。kettle通过提供一个图形化的用户环境管理来自不同数据库的数据，然后以一种指定的格式输出数据。kettle中有两种脚本文件，分别是转换transformation和任务job，transformation用于指示数据的基础转换，job则用于指示对整个工作流的控制。

目前调度系统通过接口或者数据迁移工具接收来自上游的名单，当名单到达调度系统时，首先写入名单同步表，然后通过job同步至名单表，现在存在多个同时独立运行的job，分别处理不同类型的名单同步数据，但每个job中各自对应的核心代码处理逻辑基本一致，表结构也基本相同，当新增job时，需要重新编写相关功能的代码，导致冗余代码过多。

发明内容

本发明的主要目的在于解决了现有的名单同步策略中通过job执行多个名单同步任务时存在代码冗余的技术问题。

为实现上述目的，本发明第一方面提供了一种名单数据处理方法，包括：当接收到终端发送的创建名单同步任务请求时，按照所述创建名单同步任务请求获取目标功能函数集，并对所述目标功能函数集进行代码拼接，得到名单同步任务，所述目标功能函数集包括源表取值功能函数、去重功能函数、校验功能函数和目标表处理功能函数；当接收到所述终端发送的执行所述名单同步任务请求时，通过所述源表取值功能函数从初始名单数据表中获取所述待处理的名单数据；通过所述去重功能函数对所述待处理的名单数据进行去重处理，并将已去重的名单数据同步到第一目标名单数据表中，得到第一名单数据；通过所述校验功能函数对所述第一名单数据进行黑名单校验，得到第二名单数据，所述第二名单数据包括已过滤黑名单的目标号码；通过所述目标表处理功能函数将所述第二名单数据同步到第二目标名单数据表中，并对所述已过滤黑名单的目标号码进行语音呼叫。

可选的，在本发明第一方面的第一种实现方式中，所述当接收到终端发送的创建名单同步任务请求时，按照所述创建名单同步任务请求获取目标功能函数集，并对所述目标功能函数集进行代码拼接，得到名单同步任务，所述目标功能函数集包括源表取值功能函数、去重功能函数、校验功能函数和目标表处理功能函数，包括：当接收到终端发送的创建名单同步任务请求时，解析所述创建名单同步任务请求，得到任务类型；按照所述任务类型查询对应的目标配置信息；按照所述目标配置信息读取对应的目标功能函数集，并对所述目标功能函数集进行代码封装，得到目标代码文件，所述目标功能函数集包括源表取值功能函数、去重功能函数、校验功能函数和目标表处理功能函数；对所述目标代码文件设置任务入口地址，并将所述任务入口地址写入到预置任务列表中，得到名单同步任务。

可选的，在本发明第一方面的第二种实现方式中，所述当接收到所述终端发送的执行所述名单同步任务请求时，通过所述源表取值功能函数从初始名单数据表中获取所述待处理的名单数据，包括：当接收到所述终端发送的执行所述名单同步任务请求时，对第一预置名单类型和初始名单数据表按照结构化查询语言语法规则生成第一查询语句；将所述第一查询语句设置为所述源表取值功能函数对应的参数值，并基于所述参数值执行所述源表取值功能函数，得到所述待处理的名单数据，所述待处理的名单数据包括待筛选号码。