[发明专利]确定学习模型的稳定性的方法和装置

说明书

本发明的实施例涉及人工智能领域，提供一种确定学习模型的稳定性的方法和装置。所述方法包括：获取对照信息；获取实验样本集；获取实验信息；根据稳定性信息确定学习模型稳定性，所述稳定性信息表征所述对照信息和所述实验信息之间的偏离程度。根据本发明实施例的确定学习模型的稳定性的方法和装置能够适用于多种类型的学习模型，并且能够客观、准确的确定学习模型的稳定性。

技术领域

本发明涉及人工智能领域，特别是涉及一种确定学习模型的稳定性的方法和装置。

背景技术

稳定性是指学习模型在面对无关数据的干扰时还能否保持稳定。

现有技术中存在使用对抗数据集、干扰数据集等对模型进行训练的方法，来增强学习模型的稳定性，但是仍需要一种稳定性判定方法来判定这样的学习模型是否真的稳定，现有技术中还存在针对某些特定的模型的稳定性进行评价的方法，但是这些方法的局限性较高，并不能够进行广泛的适用。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的基于人工智能技术领域的学习模型稳定性的判定方法和装置。

根据本发明实施例的一个方面提供一种确定学习模型的稳定性的方法，包括:获取对照信息，所述对照信息包括将对照样本集输入所述学习模型由所述学习模型输出的对照结果集和\或对照评价指标，其中所述对照样本集包括M个对照样本，每个对照样本各自具有L个特征值，M和L为大于1的整数；获取实验样本集，所述实验样本集包括M个实验样本，所述M个实验样本与所述M个对照样本一一对应，其中每个所述实验样本是通过改变所述对照样本集中的每个所述对照样本L个特征值中的N个特征值来获取的，N为大于等于1且小于等于L的整数；获取实验信息，所述实验信息包括将所述实验样本集输入所述学习模型由所述学习模型输出的实验结果集和\或实验评价指标，其中所述实验结果集与所述对照结果集相对应，所述实验评价指标与所述对照评价指标相对应；根据稳定性信息确定所述学习模型的稳定性，所述稳定性信息表征所述对照信息和所述实验信息之间的偏离程度。

可选地，在所述对照信息包括对照结果集且所述实验信息包括实验结果集的情况下，所述稳定性信息包括第一属性值，所述第一属性值表征所述对照结果集和所述实验结果集之间的偏离程度；在所述对照信息包括对照评价指标且所述实验信息包括实验评价指标的情况下，所述稳定性信息包括第二属性值，所述第二属性值表征所述对照评价指标和所述实验评价指标之间的偏离程度。

可选地，在所述对照信息包括对照结果集和对照评价指标且所述实验信息包括实验结果集和实验评价指标的情况下，所述稳定性信息包括：第一属性值，所述第一属性值表征所述对照结果集和所述实验结果集之间的偏离程度；第二属性值，所述第二属性值表征所述对照评价指标和所述实验评价指标之间的偏离程度；第三属性值，所述第三属性值是通过对所述第一属性值和所述第二属性值进行加权获取的。

可选地，根据稳定性信息确定所述学习模型的稳定性包括：确定所述第一属性值是否大于第一预设阈值；在确定所述第一属性值大于第一预设阈值的情况下，根据所述第一属性值确定所述学习模型的稳定性；在确定所述第一属性值小于等于第一预设阈值的情况下，根据所述第三属性值确定所述学习模型的稳定性。

可选地，所述N个特征值是根据特征值重要程度信息从所述对照样本的L个所述特征值中筛选出的；所述特征值重要程度信息包括以下中的至少一个：所述学习模型本身具有的特征值重要程度信息；通过针对所述对照样本集构建特征值分析模型获取的特征值重要程度信息；利用特征值评估公式计算得到的特征值重要程度信息。

可选地改变所述对照样本集中的每个所述对照样本L个特征值中的N个特征值包括：利用预定规则将每个所述特征值与随机数进行运算；或者分别将每个所述特征值替换为所述特征值的取值范围内的其他任意值。