[发明专利]一种基于大数据的数据治理方法及系统

说明书

本发明公开了一种基于大数据的数据治理方法，包括：接收客户端发送的响应用户触发的数据治理流程对应的数据治理请求；根据数据治理请求中的用户标识获取用户对应的预先设置的数据治理配置界面和数据治理策略；通过客户端显示数据治理配置界面，并根据数据治理策略在所述数据治理配置界面上选择对应的数据读取组件、数据处理组件并进行连线处理以完成数据治理流程配置；所述客户端向用户提问是否以当前数据治理流程配置对待治理数据进行治理；当接收到客户端发送的用户同意按照当前数据治理流程配置对待治理的数据进行治理时，按照当前数据治理流程配置对待治理数据进行治理以完成数据治理。

技术领域

本发明涉及大数据处理技术领域，尤其涉及一种基于大数据的数据治理方法及系统。

背景技术

数据是大数据工程的基础和核心，其完整性、及时性以及质量是一切目标的保障条件。在大数据的支撑下经济和技术的发展走向“智慧化”，通过整合各类数据信息对社会各个生产领域的运行状况进行监测，实现安全生产管理工作的改进和优化。

通过对大数据的数据信息的实时采集、数据存储、数据分析和综合查询，使得各行各业能够高效率的捕捉、发现和分析，能够经济地从类型繁杂、数量庞大的数据中挖掘出有价值的信息，从而为各行各业生产运行综合管理、综合调度、综合协调、综合指挥提供数据支撑。但是因为机构组织、业务系统、数据平台的不同，很多数据组织呈现各自为阵、数据不共用、重复数据，信息互不相连、数据分布不均，数据平台的利用情况不平衡；从数据平台硬件角度看，也就是从数据内容透明的角度看，部分数据因为设备容量问题而更新速度过快，造成关键数据提前主动丢失，而有些数据则无条件保留。

如何进行大数据的有效治理和有效提供，使得大数据的提供满足用户访问请求的用户体验，是待解决的技术问题。

发明内容

本发明的目的在于提供一种基于大数据的数据治理方法及系统，其能够有效解决现有技术中所存在的上述技术问题。

为了实现上述目的，本发明的一实施例提供了一种基于大数据的数据治理方法，包括步骤：

S1、接收客户端发送的响应用户触发的数据治理流程对应的数据治理请求；其中，所述数据治理请求包括用户标识和待治理数据；其中，所述数据治理流程包括数据读取和数据处理；

S2、根据所述数据治理请求中的用户标识获取所述用户对应的预先设置的数据治理配置界面和数据治理策略；

S3、通过所述客户端显示所述数据治理配置界面，并根据所述数据治理策略在所述数据治理配置界面上选择对应的数据读取组件、数据处理组件并进行连线处理以完成数据治理流程配置；其中，所述配置界面上显示所述数据读取组件和数据处理组件；所述数据处理组件包括多个，当所述数据处理组件的前面连线数据读取组件或数据处理组件时所述数据处理组件作为目标节点，当所述数据处理组件的后面连线数据处理组件时所述数据处理组件作为源节点，不同的数据处理组件所需配置的参数不同，源节点的输出结果可作为目标节点的输入参数；

S4、通过所述客户端向用户提问是否以当前数据治理流程配置对待治理数据进行治理；

S5、当接收到所述客户端发送的用户同意按照当前数据治理流程配置对待治理的数据进行治理时，按照当前数据治理流程配置对待治理数据进行治理以完成数据治理；

S6、当接收到所述客户端发送的用户请求更新当前数据治理流程配置时，通过所述客户端显示更新界面以使用户进行数据治理流程配置更新操作，并在接收到所述客户端发送的数据治理流程配置更新操作完成时，按照更新后的数据治理流程配置对待治理的数据进行治理以完成数据治理；其中，所述数据治理流程配置更新操作包括数据读取组件、数据处理组件的更换、参数及连线的更改；

S7、通过所述客户端显示数据治理完成后的结果。