[发明专利]一种数据分析处理方法和系统

说明书

本发明提供一种数据分析处理方法和系统，涉及大数据处理领域，该数据分析处理方法包括：获取数据分析处理工作流的配置信息；根据所述配置信息确定所述数据分析处理工作流的运行方式；所述运行方式包括单机式或分布式；基于确定出的运行方式，运行所述数据分析处理工作流。本发明实施例中的数据分析处理系统可以兼容单机式运行方式和分布式运行方式，灵活地运用单机式运行方式或分布式运行方式运行数据分析处理工作流，实现了对大数据分析系统中资源的有效分配，克服了大数据分析系统的资源瓶颈，提高了大数据分析系统的资源利用效率，使得大数据分析系统计算速度更快、计算量更大。

技术领域

本发明涉及大数据处理领域，尤其涉及一种数据处理处理方法和系统。

背景技术

随着社会信息化和智能化水平提高，使用大数据分析系统训练业务模型，并使用训练好的业务模型实现大数据业务智能化处理也逐渐成为大数据行业的通用手段。现有大数据分析系统在进行大数据分析时可以选择单机式或分布式方式处理数据、训练模型。然而，现有的大数据分析系统无法兼容单机式运行和分布式运行方式，大数据分析系统的资源利用效率低。

发明内容

本发明实施例提供一种数据分析处理方法和系统，解决现有的大数据分析系统无法兼容单机式运行和分布式运行方式，资源利用效率低的问题。

为解决上述技术问题，本发明提供一种数据分析处理方法，所述方法包括：

获取数据分析处理工作流的配置信息；

根据所述配置信息确定所述数据分析处理工作流的运行方式；所述运行方式包括单机式或分布式；

基于确定出的运行方式，运行所述数据分析处理工作流。

优选的，上述方法中，所述根据所述配置信息确定所述数据分析处理工作流的运行方式的步骤包括：

基于运行环境参数和/或数据量大小，确定所述数据分析处理工作流的运行方式；

或者，

基于所述数据分析处理工作流对应的工作流模板，确定所述数据分析处理工作流的运行方式。

优选的，上述方法中，所述基于确定出的运行方式，运行所述数据分析处理工作流包括:

配置分布式资源；

各个计算节点基于所述分布式资源，运行所述数据分析处理工作流。

优选的，上述方法中，所述各个计算节点基于所述分布式资源，运行所述数据分析处理工作流的步骤包括：

主计算节点分发子数据；

各个计算节点基于得到的子数据，运行所述数据分析处理工作流。

优选的，上述方法中，所述配置分布式资源步骤包括：

所述各个计算节点同步初始信息；和/或，

根据计算节点数量更新学习率和批大小。

优选的，上述方法中，所述初始信息包括以下至少一项：初始变量、进程信息、数据信息和参数信息。

优选的，上述方法中，所述批大小与所述计算节点数量呈正相关；所述学习率与所述计算节点数量呈正相关。

优选的，上述方法中，所述各个计算节点基于得到的子数据，运行所述数据分析处理工作流的步骤包括：

所述各个计算节点运行所述数据分析处理工作流，训练所述数据分析处理工作流中的模型；

所述各个计算节点分别获取所述模型参数更新信息；

所述各个计算节点根据所述模型参数更新信息，基于参数更新算法，更新并同步所述各个计算节点中模型的参数信息。