[发明专利]一种执行动态插入算子的方法以及装置

说明书

本发明公开了一种执行动态插入算子的方法以及装置，涉及计算机技术领域。该方法包括：接收用户的服务请求；基于所述用户的服务请求来调用与服务相对应的算子的微服务框架，其中微服务框架独立于数据挖掘平台；基于针对所述调用的响应，建立数据挖掘平台与算子的微服务架构之间的通信以将所述算子动态地插入到所述数据挖掘平台中；以及当与所述算子相对应的服务出现故障时，与出现故障的服务相对应的算子的微服务框架与所述数据挖掘平台隔离开。基于本发明，能够基于需求来灵活地增加算子，有效地提高数据挖掘平台的可扩展性和兼容性。

技术领域

本发明涉及计算机技术领域，尤其涉及一种执行动态插入算子的方法以及装置。

背景技术

在现有技术中，基于现有的数据挖掘平台，通过新增配置文件的方式来增加算子。

在实现本发明过程中，发明人发现现有技术中至少存在如下问题：

在现有技术的数据挖掘平台的算子动态扩容方案中，新算法的导入与数据挖掘平台本身同为一个项目开发，代码之间耦合性较大，灵活性不足，不能满足不断扩展的功能要求。

发明内容

有鉴于此，本发明实施例提供一种执行动态插入算子的方法以及装置，该装置包括用于数据挖掘的数据挖掘平台。在使用数据挖掘平台过程中，开发人员可以根据自己的需要来灵活地加入算子。本发明中的算子包括但不限于数据读取、数据预处理、特征工程、机器学习算法等算子，本发明能够有效地提高数据挖掘平台的可扩展性和兼容性。

为实现上述目的，根据本发明实施例的一个方面，提供了一种执行动态插入算子的方法，其特征在于，包括：接收用户的服务请求；基于所述用户的服务请求来调用与服务相对应的算子的微服务框架，其中微服务框架独立于数据挖掘平台；基于针对所述调用的响应，建立数据挖掘平台与算子的微服务架构之间的通信以将所述算子动态地插入到所述数据挖掘平台中；以及当与所述算子相对应的服务出现故障时，与出现故障的服务相对应的算子的微服务框架与所述数据挖掘平台隔离开。

可选地，所述执行动态插入算子的方法，其特征在于，所述算子的数量是一个或多个，并且每个算子对应一个服务。

可选地，所述执行动态插入算子的方法，其特征在于，所述多个算子的微服务框架彼此独立。

可选地，所述执行动态插入算子的方法，其特征在于，所述数据挖掘平台支持多个数据挖掘算法、涵盖分类、聚类以及回归，并且支持包括sklearn、lightGBM、XGBoost以及SparkMLlib的数据挖掘框架。

可选地，所述执行动态插入算子的方法，其特征在于，所述数据挖掘平台包含数据读取、特征工程、超参数调优、模型训练、模型部署以及模型重训练。

可选地，所述执行动态插入算子的方法，其特征在于，所述数据挖掘平台包括用户接口层、平台服务层、计算资源层以及数据层。

可选地，所述执行动态插入算子的方法，其特征在于，所述平台服务层提供平台的基础功能包含资源调度、任务调度和api接口层。

可选地，所述执行动态插入算子的方法，其特征在于，所述算子被分为数据IO、预处理、机器学习模型、样本数据、特征工程和模型评估。

可选地，所述执行动态插入算子的方法，其特征在于，所述数据IO算子用于选择数据源、输入数据库和数据表；所述数据预处理算子用于按比例采样、随机拆分数据、分层拆分数据和缺失值填充；所述机器学习模型算子用于随机森林二分类、逻辑回归、xgboost二分类和K均值聚类；所述样本数据算子用于信贷审批、信用卡欺诈检测和电信客户流失数据；所述特征工程算子用于最大最小归一化和标准归一化；以及所述模型评估算子用于分类模型评估指标、聚类模型评估指标和模型预测。