[发明专利]一种基于大数据的数据治理方法及系统

权利要求书

1.一种基于大数据的数据治理方法，其特征在于，包括步骤：

S1、接收客户端发送的响应用户触发的数据治理流程对应的数据治理请求；其中，所述数据治理请求包括用户标识和待治理数据；其中，所述数据治理流程包括数据读取和数据处理；

S2、根据所述数据治理请求中的用户标识获取所述用户对应的预先设置的数据治理配置界面和数据治理策略；

S3、通过所述客户端显示所述数据治理配置界面，并根据所述数据治理策略在所述数据治理配置界面上选择对应的数据读取组件、数据处理组件并进行连线处理以完成数据治理流程配置；其中，所述配置界面上显示所述数据读取组件和数据处理组件；所述数据处理组件包括多个，当所述数据处理组件的前面连线数据读取组件或数据处理组件时所述数据处理组件作为目标节点，当所述数据处理组件的后面连线数据处理组件时所述数据处理组件作为源节点，不同的数据处理组件所需配置的参数不同，源节点的输出结果可作为目标节点的输入参数；

S4、通过所述客户端向用户提问是否以当前数据治理流程配置对待治理数据进行治理；

S5、当接收到所述客户端发送的用户同意按照当前数据治理流程配置对待治理的数据进行治理时，按照当前数据治理流程配置对待治理数据进行治理以完成数据治理；

S6、当接收到所述客户端发送的用户请求更新当前数据治理流程配置时，通过所述客户端显示更新界面以使用户进行数据治理流程配置更新操作，并在接收到所述客户端发送的数据治理流程配置更新操作完成时，按照更新后的数据治理流程配置对待治理的数据进行治理以完成数据治理；其中，所述数据治理流程配置更新操作包括数据读取组件、数据处理组件的更换、参数及连线的更改；

S7、通过所述客户端显示数据治理完成后的结果。

2.根据权利要求1所述的基于大数据的数据治理方法，其特征在于，所述数据治理流程还包括数据发布，所述配置界面上还显示与所述数据发布对应的数据发布组件；所述基于大数据的数据治理方法还包括步骤：

S8、接收客户端发送的响应用户触发的数据治理结果发布请求，根据所述数据治理结果发布请求中用户所选择的数据发布组件将所述数据治理结果对应发布。

3.根据权利要求2所述的基于大数据的数据治理方法，其特征在于，在所述步骤S2中，当根据所述数据治理请求中的用户标识获取所述用户对应的预先设置的数据治理策略存在多个时，通过所述客户端显示多个所述数据治理策略以供用户进行选择，并以用户选择的一个数据治理策略作为最后的数据治理策略。

4.根据权利要求2所述的基于大数据的数据治理方法，其特征在于，所述数据治理请求中还包括待治理数据的标签；在所述步骤S2中，当根据所述数据治理请求中的用户标识获取所述用户对应的预先设置的数据治理策略存在多个时，基于待治理数据的标签从多个所述数据治理策略中选择最匹配的作为最后的数据治理策略。

5.根据权利要求1所述的基于大数据的数据治理方法，其特征在于，所述数据治理请求中还包括数据清洗流程信息；所述数据处理组件包括数据清洗组件；所述基于大数据的数据治理方法还包括步骤：

对所述数据清洗流程文件进行解析，以提取数据清洗流程文件对应的工作流应用模型；

根据所多个工作流应用模型生成对应的数据清洗执行文件；

对待治理数据进行治理过程中，所述数据清洗组件根据所述数据清洗执行文件待治理数据进行清洗。

6.根据权利要求5所述的基于大数据的数据治理方法，其特征在于，所述根据所多个工作流应用模型生成对应的数据清洗执行文件具体包括：

分别获取多个工作流应用模型对应的数据清洗代码；所述数据清洗代码是SQL语句、调用组件的清洗函数；

根据所述数据清洗流程文件中的顺序对所述数据清洗代码排序，形成数据清洗执行文件。