[发明专利]用于机器学习系统的自适应训练的系统和方法

权利要求书

1.一种用于被配置为预测与文本数据相关联的问题的答案的机器学习系统的自适应训练的方法，所述方法包括：

接收与文本数据相关联的问题的预测答案，所述预测答案至少部分地基于机器学习系统的一个或多个第一模型生成，所述一个或多个第一模型与第一准确度分数相关联；

至少部分地基于质量控制参数确定是否需要由一个或多个外部实体对所述问题进行评估；

响应于至少部分地基于所述质量控制参数确定需要由一个或多个外部实体对所述问题进行评估，将所述文本数据和与所述文本数据相关联的所述问题发送到所述一个或多个外部实体进行评估；

从所述一个或多个外部实体接收所述问题的真实答案；

至少部分地基于所述真实答案和所述预测答案确定一个或多个准确度参数；

响应于所述一个或多个准确度参数小于预定最小阈值：

识别准确度降低事件；以及

增加所述质量控制参数；

响应于至少一个问题的真实计数大于第一预定真实阈值：

生成一个或多个第二模型，其中所述生成一个或多个第二模型包括至少部分地基于真实数据的一个或多个组合训练所述一个或多个第二模型，所述真实数据包括所述真实答案和与所述真实答案相关联的所述文本数据；以及

确定与所述一个或多个第二模型相关联的第二准确度分数；以及响应于所述第二准确度分数大于与所述一个或多个第一模型相关联的所述第一准确度分数，在所述机器学习系统处利用所述一个或多个第二模型替换所述一个或多个第一模型。

2.如权利要求1所述的方法，其特征在于，所述质量控制参数指示所需由所述一个或多个外部实体执行的评估的数量。

3.如权利要求2所述的方法，其特征在于，至少部分地基于质量控制参数确定是否需要由一个或多个外部实体对所述问题进行评估包括至少部分地基于所确定的一个或多个准确度参数增加所需评估的数量。

4.如权利要求1所述的方法，其特征在于，所述真实数据的一个或多个组合包括在识别所述准确度降低事件之后生成的真实数据。

5.如权利要求1所述的方法，其特征在于，所述真实数据的一个或多个组合包括在识别所述准确度降低事件之前和之后生成的真实数据。

6.如权利要求1所述的方法，其特征在于，确定与所述一个或多个第二模型相关联第二准确度分数包括基于所述真实数据确定所述一个或多个第二模型中的每个模型的准确度分数。

7.如权利要求1所述的方法，其特征在于，如果所述一个或多个第二模型中的每个模型的准确度分数大于所述一个或多个第一模型中的每个模型的准确度分数，则所述第二准确度分数大于所述第一准确度分数。

8.如权利要求1所述的方法，进一步包括：

响应于所述第二准确度分数小于或等于所述第一准确度分数，等待所述真实计数进一步增加；以及

响应于所述真实计数大于第二预定真实阈值：

生成所述一个或多个第二模型；以及

确定与所述一个或多个第二模型相关联的所述第二准确度分数。

9.如权利要求1所述的方法，进一步包括：

至少部分地基于质量控制参数确定是否需要由一个或多个外部实体对所述问题进行评估，直到所述准确度降低事件被清除。

10.如权利要求1所述的方法，进一步包括：

响应于所述一个或多个准确度参数等于或大于所述预定最小阈值，清除所述准确度降低事件。

11.如权利要求1所述的方法，其特征在于，响应于请求或推送事件接收对与文本数据相关联的问题的所述预测答案。