[发明专利]一种基础数据清洗及同步的方法、装置及存储介质

说明书

本发明公开了一种基础数据清洗及同步的方法、装置及存储介质，根据行业标准建立统一数据模型和约束规则；分别对每个关联平台数据库的基础数据进行入库处理，标识基础数据来源，根据约束规则对基础数据校验和补全，使数据完整；针对多平台单一的数据形式，则直接将基础数据按照统一数据模型迁移入库；针对多平台具有多种的数据形式，则将不同平台间的基础数据绑定后，再按照统一数据模型迁移入库，提高数据间的关联性；最终使汇入统一数据库的数据统一化，实现资源共享。

技术领域

本发明涉及数据处理领域，特别是一种基础数据清洗及同步的方法、装置及存储介质。

背景技术

随着数据量的越来越大，多个平台之间数据交换是必然的。在网络构建时，信息化建设缺乏顶层规范和标准，导致各个业务系统难以互相协同，资源共享困难。此外，各个业务系统中，存在不完整的坏数据，这些坏数据会妨碍数据的统一化。

发明内容

本发明的目的在于至少解决现有技术中存在的技术问题之一，提供一种基础数据清洗及同步的方法、装置及存储介质，使来自不同平台的数据统一化，实现资源共享。

本发明解决其问题所采用的技术方案是：

本发明的第一方面，一种基础数据清洗及同步的方法，包括以下步骤：

根据行业标准为统一数据库建立统一数据模型和约束规则；

分别对每个关联平台数据库的基础数据进行入库处理，所述入库处理包括：

标识基础数据的来源；

根据约束规则校验基础数据；

对不合规的基础数据补全直至全部基础数据符合约束规则；

判断多个关联平台数据库是否采用单一的数据形式；

当判断结果为是，根据统一数据模型将合规的基础数据迁移入库至统一数据库；

当判断结果为否，根据基础数据的唯一标识使不同关联平台数据库的合规的基础数据确立绑定关系，再根据统一数据模型将绑定的基础数据迁移入库至统一数据库。

根据本发明的第一方面，关联平台数据库向统一数据库发送获取信号，统一数据库响应获取信号并根据kafka消息订阅机制返回统一数据至对应的关联平台数据库。

根据本发明的第一方面，所述对不合规的基础数据补全直至全部基础数据符合约束规则包括以下步骤：

根据设定的补全机制自动对不合规的基础数据补全；

将无法自动补全的基础数据返回至用户手动补全。

根据本发明的第一方面，所述基础数据包括学校信息、教师信息、家长信息和学生信息；所述学校信息的唯一标识为机构代码，所述教师信息的唯一标识为身份证号或手机号，所述家长信息的唯一标识为身份证号或手机号，所述学生信息的唯一标识为学号。

本发明的第二方面，一种基础数据清洗及同步的装置，包括：

模型建立模块，用于根据行业标准为统一数据库建立统一数据模型；

规则建立模块，用于根据行业标准为统一数据库建立约束规则；

入库处理模块，用于对关联平台数据库的基础数据进行入库处理；所述入库处理模块包括：

标识模块，用于标识基础数据的来源；

校验模块，用于根据约束规则校验基础数据；

补全模块，用于对不合规的基础数据补全直至全部基础数据符合约束规则；

判断模块，用于判断多个关联平台数据库是否采用单一的数据形式；