[发明专利]一种面向云计算的基于定制化组件的流式机器学习方法与软件系统

摘要

发明涉及一种基于定制化组件的流式机器学习方法与软件系统。首先，提出Spark机器学习组件模型，将Spark MLlib的机器学习算法自动转换成流程中的算法组件；其次，定义机器学习分析业务流程模型，实现该模型向Spark代码的自动转换与执行；最后，基于分布式内存文件系统管理中间数据以优化流程执行性能。

主权项

方法特征在于实现步骤如下：第一步，基于Spark MLlib的机器学习组件构造：采用流程的方式表示机器学习分析的过程，流程中的每个结点对应一个组件，代表不同的功能或任务；每个机器学习组件实现一个或多个机器学习算法；由流程统一调度执行；第二步，机器学习组件的静态描述：实现为能够独立执行的程序，以提供自身的分析功能；向系统提供组件描述信息，包括组件的ID、显示名称、组件分类、组件类型、组件参数信息；第三步，机器学习组件的动态执行：建立多种类型程序的执行模型，工作流使用XML语言来描述，包括控制流节点和动作节点；将机器学习流程模型转换成可以被Oozie识别的控制流模型，让控制流模型继承机器学习流程的拓扑关系；将机器学习流程中隐含的数据流向，在控制流图中进行明确的配置。