[发明专利]模型评估方法、装置、电子设备和存储介质

说明书

本申请提出一种模型评估方法、装置、电子设备和存储介质，其中，方法包括：通过获取模型评估请求信息，对模型请求信息进行解析得到模型标识和第一模型版本号，从预设模型数据库中获取与模型标识和第一模型版本号对应的待评估模型，从预设样本数据库中获取与待评估模型对应的评估样本，将评估样本输入到待评估模型中进行评估处理得到评估准确率和评估召回率，评估准确率大于等于第一预设准确率阈值且评估召回率大于等于第一预设召回率阈值，确定待评估模型满足预设使用条件。解决现有技术中模型使用率下降的问题，通过从预设样本数据库中获取评估样本来自动对模型评估，保证评估结果的客观准确，提高模型的使用率。

技术领域

本申请涉及自动驾驶技术领域，尤其涉及一种模型评估方法、装置、电子设备和存储介质。

背景技术

目前，随着人工智能技术的不断发展和应用场景的逐渐多样化，机器模型的研发和迭代速度不断加快，在模型发布前需要用评估样本对模型进行评估，只有评估结果符合上线要求时才允许发布。

相关技术中，模型评估由模型开发人员来执行，这种方案需要模型开发人员在线下收集和管理评估样本，并基于线下样本搭建线下的模型评估环境来优化模型，增加了开发人员的工作量，并且开发人员收集的评估样本容易因主观因素导致评估样本的准确性不高，导致模型的评估结果得不到业务方的认可。

申请内容

本申请旨在至少在一定程度上解决上述相关技术中的技术问题之一。

为此，本申请的第一个目的在于提出一种模型评估方法，解决了现有技术中模型的评估结果得不到业务方的认可，导致模型使用率下降的问题，通过从预设样本数据库中获取评估样本来自动对模型评估，保证评估结果的客观准确，提高模型的使用率。

本申请的第二个目的在于提出一种模型评估装置。

本申请的第三个目的在于提出一种计算机设备。

本申请的第四个目的在于提出一种非临时性计算机可读存储介质。

为达上述目的，本申请第一方面实施例提出了一种模型评估方法，包括：获取模型评估请求信息，对所述模型请求信息进行解析得到模型标识和第一模型版本号；从预设模型数据库中获取与所述模型标识和第一模型版本号对应的待评估模型；从预设样本数据库中获取与所述待评估模型对应的评估样本；将所述评估样本输入到所述待评估模型中进行评估处理得到评估准确率和评估召回率；若所述评估准确率大于等于第一预设准确率阈值，且所述评估召回率大于等于第一预设召回率阈值，则确定所述待评估模型满足预设使用条件。

另外，本申请实施例的模型评估方法，还具有如下附加的技术特征：

可选地，在所述从预设模型数据库中获取与所述模型标识和第一模型版本号对应的待评估模型之前，还包括：获取模型训练请求，并获取待训练模型；从所述预设样本数据库中获取训练样本，将所述训练样本输入到所述待训练模型中进行训练处理，得到训练准确率和训练召回率；若所述训练准确率大于等于第二预设准确率阈值，且所述训练召回率大于等于第二预设召回率阈值，则确定所述待训练模型满足预设训练条件；将所述待训练模型存储在所述预设模型数据库中。

可选地，在所述从预设样本数据库中获取与所述待评估模型对应的评估样本之前，还包括：获取标注平台发送的标注样本；获取业务方发送的使用样本；根据所述标注样本和所述使用样本生成所述评估样本和所述训练样本；将所述评估样本和所述训练样本存储在所述预设样本数据库。

可选地，所述的方法，还包括：获取与所述待评估模型对应的第二模型版本号；从预设评估结果数据库中获取与所述模型标识和所述第二模型版本号对应的目标准确率和目标召回率；根据所述评估准确率、所述评估召回率、所述目标准确率和所述目标召回率确定所述待评估模型在所述第一模型版本号和所述第二模型版本号之间是否满足预设优化条件。