[发明专利]一种通用机器学习数据分析平台

摘要

本发明提供一种通用机器学习数据分析平台，包括界面模块、数据存储模块、预处理模块、特征提取模块、特征转换模块、算法模块以及选择优化模块；所述特征提取模块根据用户设定的特征参数从所述待分析数据中提取所述特征参数；所述特征转换模块用于将用户设定的特征转换成用户所需的表示形式；所述算法模块包含多种算法模型供用户选择以及供用户构建模型，用户构建至少一组模型；所述选择优化模块从构建好的模型中选出最优的模型和最优的参数，然后保存所述最优的模型；上述各模块产生的数据均存储于所述数据存储模块中。本发明用户可以自由组合使用各个模块与算法模型，还可以建立复合模型，快速迭代开发出新型分析模型，大大提高工作效率。

主权项

1.一种通用机器学习数据分析平台，其特征在于：包括界面模块、数据存储模块、预处理模块、特征提取模块、特征转换模块、算法模块、选择优化模块以及管理模块；所述界面模块提供数据输入接口，参数配置接口，结构配置界面以及分析结果展示；所述预处理模块接收来自所述数据输入接口传入的原始数据，然后将其转换成矩阵的表示方式，存入所述数据存储模块；将所述矩阵表示方式的数据定义为待分析数据；所述特征提取模块根据用户设定的特征参数从所述待分析数据中提取所述特征参数，供模型训练时使用；若待分析数据需要执行特征提取，则进入特征提取模块；若不需要，则进入特征转换模块；所述特征转换模块用于将用户设定的特征转换成用户所需的表示形式，目的是为了优化输入的特征参数，以提高模型训练的精度或模型训练的速度；若不需要执行特征转换，则进入算法模块；所述算法模块包含多种算法模型供用户选择以及供用户构建训练模型，用户构建至少一组训练模型；所述选择优化模块从构建好的训练模型中通过模型训练选出最优的模型和最优的参数，然后保存所述最优的训练模型，将所述最优的训练模型定义为最优模型；通过所述选择优化模块选出最优模型后，用户就可以设定使用该最优模型对待分析数据进行分析；所述预处理模块、特征提取模块、特征转换模块、算法模块以及选择优化模块产生的数据均存储于所述数据存储模块中；所述管理模块，用于管理机器学习的任务的调度与分配，管理自发现服务，所谓自发现服务为:分布式部署所述数据分析平台的八大模块，分别是：界面模块、数据存储模块、预处理模块、特征提取模块、特征转换模块、算法模块、选择优化模块以及管理模块，所述八大模块中除管理模块外的任意一所述模块启动后，会通知所述管理模块，所述管理模块接到所述通知后，将其纳入管理之下；所述八大模块中，除管理模块外的各模块之间定时都会向所述管理模块报告当前状态，如果所述各模块中有一任意模块超过设定的时间没有发送报告，则认为该模块下线，任务将不会分配到该模块上；通过分布式部署所述八大模块及管理模块的自发现服务，使得所述数据分析平台能够快速完成动态扩展。