[发明专利]一种面向系统辨识的容器化云工作流处理系统及方法

说明书

本发明涉及一种面向系统辨识的容器化云工作流处理系统及方法，该系统包括：边缘节点，用于采集被控对象运行产生的输入输出数据；镜像仓库，用于存储多个系统辨识的工作流模板；计算资源包括通过Kubernetes系统创建的容器；预处理模块，用于接收工作流模板和输入输出数据，根据工作流模板对输入输出数据进行解析，生成任务序列；任务管理模块，用于接收任务序列，并根据任务序列向云资源池释放任务；Kubernetes系统，用于接收任务序列，并根据任务序列创建容器；容器用于执行任务序列，获得系统辨识结果；Redis数据存储系统，用于存储输入输出数据和系统辨识结果。本发明实现借助云计算，提高系统辨识的处理速度。

技术领域

本发明涉及系统辨识技术领域，特别是涉及一种面向系统辨识的容器化云工作流处理系统及方法。

背景技术

系统辨识是利用测量数据进行动态系统数学建模的过程，建立的模型可用于系统分析、性能监控与诊断、预测、优化、以及系统的设计与控制。然而，系统辨识直接基于大量数据，计算速度因此受到制约，不适合处理大规模或者有实时性约束条件的辨识任务。同时，为打破数据壁垒、挖掘数据的深度价值，海量数据被传输至云端存储、共享、分析和处理。当前的系统辨识研究只考虑改进算法结构，提升算法性能，而处理速度还有待提高。

发明内容

本发明的目的是提供一种面向系统辨识的容器化云工作流处理系统及方法，提高了处理速度。

为实现上述目的，本发明提供了如下方案：

一种面向系统辨识的容器化云工作流处理系统，包括：边缘节点、镜像仓库、云资源池、预处理模块、任务管理模块、Redis数据存储系统和Kubernetes系统；

所述边缘节点用于采集被控对象运行产生的输入输出数据；

所述镜像仓库用于存储多个系统辨识的工作流模板；

所述云资源池用于提供计算资源；所述计算资源包括通过所述Kubernetes系统创建的容器；

所述预处理模块用于接收所述工作流模板和所述输入输出数据，根据所述工作流模板对所述输入输出数据进行解析，生成任务序列；

所述任务管理模块用于接收所述任务序列，并根据所述任务序列向所述云资源池释放任务；

Kubernetes系统用于接收所述任务序列，并根据所述任务序列创建容器；所述容器用于执行所述任务序列，获得系统辨识结果；

所述Redis数据存储系统用于存储所述输入输出数据和所述系统辨识结果。

可选地，所述面向系统辨识的容器化云工作流处理系统还包括监测模块；

所述监测模块用于从所述Kubernetes系统中实时获取计算资源用量和任务序列的执行状态。

可选地，所述任务管理模块还用于从所述监测模块实时接收计算资源用量和任务序列的执行状态；根据计算资源用量、任务序列的执行状态和所述任务序列创建容器。

可选地，所述监测模块包括资源状态跟踪器和任务状态跟踪器；

所述资源状态跟踪器用于使用List-watch机制从所述Kubernetes系统中实时获取计算资源用量；

所述任务状态跟踪器用于使用List-watch机制从所述Kubernetes系统中实时获取任务序列的执行状态。

可选地，所述所述预处理模块还用于对所述任务序列进行解码，获得多个任务信息，将各所述任务信息写入第一YAML文件；

所述第一YAML文件包括任务序号、任务信息在工作流中层级、任务信息与前继任务和后续任务之间的依赖关系、任务信息对应的任务镜像。