[发明专利]一种数据分析处理系统和模型运行方法

说明书

本发明提供一种数据分析处理系统和模型运行方法，该方法包括：进行模型的上线；运行上线的所述模型；其中，所述模型包括至少两个子模型，所述至少两个子模型包括运行在至少两种运行环境中的子模型。本发明能够支持异构模型，使得数据分析处理有极高的兼容性和开放性，提升开发效率及灵活性。

技术领域

本发明涉及数据处理技术领域，尤其涉及一种数据分析处理系统和模型运行方法。

背景技术

近年来，大数据处理与分析已经成为全球性问题，随着经济社会信息化和自动化水平不断提高，在政府管理、公共服务、科学研究、商业应用等许多领域面临大数据问题，需要有各种针对性和经济有效的解决方案。大数据平台为行业大数据提供处理能力，集数据接入、数据处理、数据存储、查询检索、分析挖掘、应用接口等功能为一体。

现有的数据分析处理系统不支持多样化的开发语言和算法框架，不能提供集成的、自动化的多语言、多框架协同数据处理，形式单一，开放性和兼容性较差。

发明内容

本发明实施例提供一种数据分析处理系统和模型运行方法，解决现有的数据分析处理系统开放性和兼容性较差的问题。

为解决上述技术问题，本发明提供一种模型运行方法，应用于数据分析处理系统中，所述方法包括：

进行模型的上线；

运行上线的所述模型；

其中，所述模型包括至少两个子模型，所述至少两个子模型包括运行在至少两种运行环境中的子模型。

可选的，上述方法中，所述运行环境包括容器。

可选的，上述方法中，所述运行上线的所述模型的步骤包括：

基于上线的模型生成模型配置文件；

根据所述模型配置文件生成运行节点拓扑信息；

基于所述运行节点拓扑信息运行所述模型；

其中，所述模型配置文件包括模型拓扑信息和子模型的运行环境信息。

可选的，上述方法中，所述根据所述模型配置文件生成运行节点拓扑信息的步骤包括：

根据所述模型拓扑信息、所述子模型的运行环境信息和预设规则确定所述运行节点拓扑信息。

可选的，上述方法中，所述预设规则包括以下至少一项：

异构的子模型分配不同的工作节点；

同构且并行运行的子模型分配不同的工作节点；

同构且串行相邻的子模型分配同一工作节点；

同构不相邻且存在执行先后顺序的子模型分配同一工作节点；

其中，异构的子模型包括不能运行在同一运行环境中的子模型，同构的子模型包括能够运行在同一运行环境中的子模型。

可选的，上述方法中，所述预设规则包括以下至少一项：

异构的子模型分配不同的工作节点；

同构且并行运行的子模型分配不同的工作节点；

同构且串行相邻的子模型分配同一工作节点；

同构且不相邻且存在执行先后顺序的子模型，分配不同的工作节点；

其中，异构的子模型包括不能运行在同一运行环境中的子模型，同构的子模型包括能够运行在同一运行环境中的子模型。

可选的，上述方法中，根据所述模型拓扑信息、所述子模型的运行环境信息和预设规则确定所述运行节点拓扑信息步骤之后，所述方法还包括：