[发明专利]为多场景业务提供标准化数据质量校验的系统

说明书

本发明公开了一种为多场景业务提供标准化数据质量校验的系统，属于数据质量校验技术领域。所述系统从内至外包括基础支持层、后端服务层、引擎服务层以及应用层。通过统一标准化数据质量校验系统的建设，未来将应用在简历产生、简历流转的各个环节中，实现在数据产生的源头控制数据质量，并在简历使用的各个环节中做数据质量优化，保证简历数据的可用性。同时，使数据校验开发的链路更为清晰，减少了代码的耦合，提高了项目开发效率，为业务多样化提供基础保障。

技术领域

本发明属于数据质量校验技术领域，具体地说，涉及一种为多场景业务提供标准化数据质量校验的系统。

背景技术

在多场景并存业务处理系统中，通常存在以下技术问题：一，各产品业务要求不同，因此导入的数据内容不同；二，各产品开发采用的语言不同，导致数据结构不同，例如APP端口和网页端，存在数据语言和结构的差异，通常获取的用户数据也会有差异；三，同一项目的不同产品内因应用场景不同，因而对数据需求不同。这种同一项目因服务产品业务需求、产品内场景需求、开发语言，从而导致数据结构，数据准确性存在差异，导致各产品产生的数据无法直接对外提供，需要汇总后经过较长时间的数据结构处理、数据清洗、数据提取后，进行分析与算法的推进。

为了更清晰地说明本发明，下文以在线招聘业务为例进行说明。

在线招聘业务发展至今，为2.1亿用户提供服务产品主要为招聘PC端、APP-ios/Android、M站、小程序、校园产品、卓聘产品等。这些产品中均有简历填写入口，但因对于简历的业务需求不同，各产品的简历数据存在较大差异。差异体主要体现在以下方面：各产品业务要求不同，导致数据内容不同。例如工作经历的职位类别，卓聘产品可选2级或3级职类，其他端产品仅可选择3级职类。各产品开发采用的语言不同，导致对于数据结构不同。例如工作经历中的职位薪资填写，在APP与PC端提供填写有日薪/月薪/年薪(可能还包括工作天数)等方式，其他端仅有月薪一种填写方式。产品内因场景不同，因而简历数据需求不同。例如在填写场景中，求职者按模块填写，可随时保存退出，对简历完整无要求；但在投递场景中，若简历缺失必要信息时，将引导求职者填写相关缺失内容。简历因服务产品业务需求、产品内场景需求、开发语言导致，简历数据结构，数据准确性存在差异，导致各产品产生的简历数据无法直接对外提供，需要经过较长时间的数据结构处理、数据清洗、数据提取后，进行分析与算法的推进。

发明内容

1、要解决的问题

在多场景并存业务处理系统中，通常存在以下技术问题：一，各产品业务要求不同，因此导入的数据内容不同；二，各产品开发采用的语言不同，导致数据结构不同，例如APP端口和网页端，存在数据语言和结构的差异，通常获取的用户数据也会有差异；三，同一项目的不同产品内因应用场景不同，因而对数据需求不同。这种同一项目因服务产品业务需求、产品内场景需求、开发语言，从而导致数据结构，数据准确性存在差异，导致各产品产生的数据无法直接对外提供，需要汇总后经过较长时间的数据结构处理、数据清洗、数据提取后，进行分析与算法的推进。

2、技术方案

为解决上述问题，本发明采用如下的技术方案。

一种为多场景业务提供标准化数据质量校验的系统，所述系统从内至外包括基础支持层、后端服务层、引擎服务层以及应用层；

所述基础支持层包括如下模块：服务器集群、数据库集群、缓存服务器、基础网络、安全防护、分布式文件存储及域名服务；所述数据库集群、所述缓存服务器、所述基础网络、所述安全防护、所述分布式文件存储、所述域名服务均与所述服务器集群进行交互；所述服务器集群用于定义与归纳整理元数据的管理模型，所述数据库集群用于将元数据的抽象对象进行版本储存，所述缓存服务器用于提供对热点数据的储存，所述基础网络用于提供网络服务，所述安全防护用于在数据服务层的上层对数据进行加密访问，所述分布式文件存储用于存储日志文件，所述域名服务用于提供访问域名；