[发明专利]一种数据库数据处理方法及装置

说明书

本说明书一个或多个实施例提供一种数据库数据处理方法及装置，包括：对待处理数据表集进行预处理，得到预处理后的数据表集；所述待处理数据表集为从不同的保险系统获取的由至少一个数据表构成的数据表集；将所述预处理后的数据表集传输至数据仓库模块，以使所述数据仓库模块对所述预处理后的数据表集进行整合处理，得到整合处理后的数据表集；接收所述数据仓库模块传输的所述整合处理后的数据表集；对所述整合处理后的数据表集进行逆处理，得到逆处理后的数据表集。本实施例的方法利用外部的数据仓库模块对待处理数据表集进行整合处理，能够提高系统的数据处理效率，保证系统性能。

技术领域

本说明书一个或多个实施例涉及数据库技术领域，尤其涉及一种数据库数据处理方法及装置。

背景技术

目前，多数企业内部广泛使用传统关系型数据库，例如Oracle、SQLServer、MySQL等。这类数据库使用简单方便，易于理解和维护，但是基于I/O的限制，对于海量数据的关联读、写效率较低。随着数据量的增加，大批量数据的反复关联计算，消耗资源多，处理时间长，导致传统关系型数据库难以支撑海量数据业务应用。

发明内容

有鉴于此，本说明书一个或多个实施例的目的在于提出一种数据库数据处理方法及装置，以解决数据处理效率低的问题。

基于上述目的，本说明书一个或多个实施例提供了一种数据库数据处理方法，包括：

对待处理数据表集进行预处理，得到预处理后的数据表集；所述待处理数据表集为从不同的保险系统获取的由至少一个数据表构成的数据表集；

将所述预处理后的数据表集传输至数据仓库模块，以使所述数据仓库模块对所述预处理后的数据表集进行整合处理，得到整合处理后的数据表集；

接收所述数据仓库模块传输的所述整合处理后的数据表集；

对所述整合处理后的数据表集进行逆处理，得到逆处理后的数据表集。

可选的，所述对待处理数据表集进行预处理，得到预处理后的数据表集，包括：

对所述待处理数据表集中各数据表中的敏感参数进行加密处理，得到密文敏感参数，由包含密文敏感参数的各数据表构成加密后的待处理数据表集；

构造附加数据表，将所述附加数据表添加于所述加密后的待处理数据表集中，得到增量待处理数据表集；

对所述增量待处理数据表集中的各数据表进行转换处理，得到转换后的各数据表，由转换后的各数据表构成所述预处理后的数据表集。

可选的，对所述整合处理后的数据表集进行逆处理，得到逆处理后的数据表集，包括：

从所述整合处理后的数据表集中筛选出所述附加数据表，将所述附加数据表删除，得到过滤后的数据表集；

对所述过滤后的数据表集中各数据表中的密文敏感参数进行解密处理，生成明文敏感参数，得到由包含所述明文敏感参数的各数据表构成的解密后的数据表集。

可选的，所述待处理数据表集中的数据表的数据项为保险信息，所述保险信息包括客户信息；

所述数据仓库模块对所述预处理后的数据表集进行整合处理，得到整合处理后的数据表集，包括：

对所述预处理后的数据表集中的各数据表中的保险信息进行标准化处理，得到标准化后的保险信息；对所述标准化后的保险信息进行合并处理，得到合并后的保险信息，所述合并后的保险信息为客户信息唯一且数据格式统一的保险信息。

可选的，所述数据仓库模块为hive数据仓库工具；

将所述预处理后的数据表集传输至数据仓库模块为：利用数据导入导出工具将所述预处理后的数据表集导入所述hive数据仓库工具；