[发明专利]一种模型优化方法、装置、系统及设备

说明书

本申请公开了一种模型优化方法、装置、系统及设备，包括：接收客户端发送的业务场景类型和入参信息；根据业务场景类型从预设模型库中确定目标运算模型，利用入参信息中的输入特征对目标运算模型进行配置；基于ABTest实验框架利用配置后的目标运算模型进行相应的运算处理以得到与业务场景类型对应的模型运算结果，将模型运算结果返回至客户端；获取客户端返回的能表征对模型运算结果的认可程度的效果数据，并基于效果数据从目标运算模型中确定出最优模型。本申请基于ABTest实验框架对指定业务场景类型下的多个离线运算模型进行测试，通过线上查看并分析客户端返回的效果数据确定最优模型，缩短优化周期，提高优化效率。

技术领域

本发明涉及计算机技术领域，特别涉及一种模型优化方法、装置、系统及设备。

背景技术

通常与大数据相关的业务，都或多或少存在使用计算模型的情况，根据用户使用等效果数据进行训练，不断优化模型，提升模型计算的精准度。但模型的优化训练，需要根据收集的效果数据，也即模型计算的结果，进行前后对比，选择使用效果更好的模型，或者根据现有效果在对模型的算法进行调整的基础上进一步测试。这种离线训练的方式，需要每次更新模型后，重新发送到线上运行一段时间后收集效果数据，才能再次进行对比优化。这种优化方式效率低周期长，而且会和业务发布耦合，造成很大的项目风险。另外线上效果查询都要去查询数据库报表，进行数据对比十分麻烦不够直观。

发明内容

有鉴于此，本发明的目的在于提供一种模型优化方法、装置、设备及存储介质，基于ABTest实验框架对指定业务场景类型下的多个离线运算模型进行测试，通过线上查看并分析客户端返回的效果数据确定出最优模型，缩短了模型优化周期，提高了优化效率，且无需关心模型的具体内容，只需根据业务场景调用模型接口传参即可，减少了模型升级部署成本，加快了模型更新迭代频率。其具体方案如下：

本申请的第一方面提供了一种模型优化方法，应用于服务端，包括：

接收客户端发送的业务场景类型和入参信息；其中，所述入参信息包含所述目标运算模型的输入特征；

根据所述业务场景类型从预设模型库中确定所述目标运算模型，并利用所述入参信息中的所述输入特征对所述目标运算模型进行配置；其中，所述目标运算模型为所述业务场景类型下的多个离线运算模型；

基于ABTest实验框架利用配置后的所述目标运算模型进行相应的运算处理以得到与所述业务场景类型对应的模型运算结果，并将所述模型运算结果返回至所述客户端；

获取所述客户端返回的能表征对所述模型运算结果的认可程度的效果数据，并基于所述效果数据从所述目标运算模型中确定出最优模型。

可选的，所述利用所述入参信息中的所述输入特征对所述目标运算模型进行配置，包括：

利用所述入参信息中的所述输入特征对所述目标运算模型对应的模型文件和特征列表进行相应的配置。

可选的，所述基于ABTest实验框架利用配置后的所述目标运算模型进行相应的运算处理以得到与所述业务场景类型对应的模型运算结果，并将所述模型运算结果返回至所述客户端，包括：

对所述目标运算模型中的每个所述离线运算模型配置ABTest实验；

启动配置好的所述ABTest实验以使所述目标运算模型中的所述离线运算模型在对应的所述ABTest实验下进行相应的运算处理，得到每个所述离线运算模型的模型运算结果，并将所述模型运算结果返回至所述客户端。

可选的，所述基于所述效果数据从所述目标运算模型中确定出最优模型，包括：

利用所述效果数据生成实验报表，并根据所述实验报表从所述目标运算模型中确定出最优模型。

本申请的第一方面还提供了一种模型优化方法，应用于客户端，包括：