[发明专利]一种数据处理系统及方法

说明书

本发明涉及一种数据处理系统及方法，其中，该系统包括：数据采集模块，用于通过网页界面封装的JDBC数据库接口从数据源采集数据；数据建模模块，用于根据数据表名称、字段名称以及字段类型的约束条件建立数据表模型，并将数据表模型生成的建表语句导入到数据库中，生成实体表，其中，实体表用于按照统一的数据格式对采集到的数据进行存储；数据处理模块，用于对采集到的数据进行数据开发与分析。通过本申请，解决了相关技术不能实现集处理与分析为一体的大数据平台解决方案的问题，实现了全域数据汇集，为数据采集与数据推送提供标准统一的入口，实现开发与治理相结合的功能，实现了集处理与分析为一体的大数据平台。

技术领域

本发明涉及数据处理技术领域，尤其涉及一种数据处理系统、方法、计算机设备和计算机可读存储介质。

背景技术

在临床研究技术领域内，不同业务的数据源有其对应的采集方式和采集工具，不同公司通常会以业务标准为指导，建立适合于公司内部的数据模型。大数据平台具有存储与计算的能力，可以对采集到的数据进行存储与计算。通过数据推送功能，可以将采集到的数据推送至BI数据库，进行数据可视化。分析师可以通过大数据平台或者BI数据库获取数据并进行数据分析。

上述数据处理方式具有以下缺陷：公司的全域数据汇集繁琐，没有统一的采集方法与入口；数据治理困难，不能保证数据的准时产出，没有统一的数据建模、建表流程，表结构、字段类型不能实现标准化；数据使用成本较高，需要数据推送同步，不能实现集处理与分析为一体的大数据平台解决方案；数据资产管理困难，不能做有效的权限管理与数据脱敏流程；以上问题不能集中在一个平台做统一的处理。

目前，针对相关技术中存在的不能实现集处理与分析为一体的大数据平台解决方案的问题，尚未提出有效的解决方案。

发明内容

本申请的目的是针对现有技术中的不足，提供一种数据处理系统、方法、计算机设备和计算机可读存储介质，以至少解决相关技术不能实现集处理与分析为一体的大数据平台解决方案的问题。

为实现上述目的，本申请采取的技术方案是：

第一方面，本申请实施例提供了一种数据处理系统，包括：

数据采集模块，用于通过网页界面封装的JDBC数据库接口从数据源采集数据；

数据建模模块，与所述数据采集模块连接，用于根据数据表名称、字段名称以及字段类型的约束条件建立数据表模型，并将所述数据表模型生成的建表语句导入到数据库中，生成实体表，其中，所述实体表用于按照统一的数据格式对采集到的数据进行存储；

数据处理模块，分别与所述数据采集模块以及所述数据建模模块连接，用于对所述采集到的数据进行数据开发与分析。

在其中一些实施例中，所述数据采集模块包括：

读取数据源插件，与所述数据源连接，用于在对用户的身份认证和数据权限认证通过、且确定数据源存在的情况下，从所述数据源读取数据；

数据传输通道插件，与所述读取数据源插件连接，用于缓存数据；

写入数据源插件，与所述数据传输通道插件连接，用于将数据写入目标端数据库。

在其中一些实施例中，所述数据处理模块包括：

数据开发组件，用于进行数据开发；

数据报表组件，用于进行报表开发以及可视化展示；

数据查询模块，用于进行数据查询。

在其中一些实施例中，所述数据处理模块还包括：

数据分享模块，用于将采集到的数据和/或所述采集到的数据的数据分析结果进行分享。

在其中一些实施例中，所述数据处理系统还包括：