[发明专利]用于机器学习系统的自适应训练的系统和方法

说明书

用于处理文本数据的机器学习系统的自适应训练的系统和方法。例如，一种用于被配置为预测对与文本数据相关联的问题的答案的机器学习系统的自适应训练的方法，包括接收与文本数据相关联的问题的预测答案。预测答案至少部分地基于机器学习系统的一个或多个第一模型生成。一个或多个第一模型与第一准确度分数相关联。该方法进一步包括基于质量控制参数确定是否需要由一个或多个外部实体对问题进行评估。响应于基于质量控制参数确定需要由一个或多个外部实体对问题进行评估，将与文本数据和文本数据相关联的问题发送到一个或多个外部实体进行评估。

相关申请的交叉引用

本申请要求于2019年4月3日提交的题为“SYSTEMS AND METHODS FOR ADAPTIVETRAINING OF A MACHINE LEARNING SYSTEM PROCESSING TEXTUAL DATA(用于处理文本数据的机器学习系统的自适应训练的系统和方法)”的美国临时专利申请第62/828,872号的优先权，其通过引用整体并入本文。

背景技术

本发明的某些实施例涉及处理文本数据的机器学习系统。更具体地，本发明的一些实施例提供了用于处理文本数据的机器学习系统的自适应训练的系统和方法。

随着对文本和自然语言数据处理需求的不断增加，机器学习系统通常用于对文本和自然语言数据以及被包括在大量文档和文件中的其他信息分析和分类。机器学习(ML)系统包括预测模块，通常基于当前已知的真实答案对预测模块进行训练直到某个时间点。然而，外部因素可能影响由基于训练模型的常规ML系统所预测的答案的准确度。因此，例如，预测答案的实际准确度随着时间的推移而降低，尽管由常规ML系统所计算的每个预测答案的置信度仍然很高。因此，常规ML系统通常需要在连续的基础上识别预测结果的不准确性，收集用于训练模型的附加数据，以及重新训练模型。常规ML系统的连续训练是劳动密集型的、耗时的，并且随着训练数据量的增加而变得更加复杂。

因此，非常期望提供和/或改进用于处理文本数据的机器学习系统的自适应训练的技术。

发明内容

本发明的某些实施例涉及处理文本数据的机器学习系统。更具体地，本发明的一些实施例提供了用于处理文本数据的机器学习系统的自适应训练的系统和方法。

根据一些实施例，一种用于被配置为预测对与文本数据相关联的问题的答案的机器学习系统的自适应训练的方法包括接收与文本数据相关联的问题的预测答案。预测答案至少部分基于机器学习系统的一个或多个第一模型生成。一个或多个第一模型与第一准确度分数相关联。该方法进一步包括至少地基于质量控制参数确定是否需要由一个或多个外部实体对问题进行评估。响应于至少部分地基于质量控制参数确定需要由一个或多个外部实体对问题进行评估，将文本数据和与文本数据相关联的问题发送到一个或多个外部实体进行评估。该方法进一步包括从一个或多个外部实体接收问题的真实答案以及至少部分地基于真实答案和预测答案确定一个或多个准确度参数。响应于一个或多个准确度参数小于预定最小阈值，识别准确度降低事件，并且增加质量控制参数。响应于至少一个问题的真实计数大于第一预定真实阈值，生成一个或多个第二模型，并且确定与该一个或多个第二模型相关联的第二准确度分数。响应于第二准确度分数大于与一个或多个第一模型相关联的第一准确度分数，在机器学习系统处利用一个或多个第二模型替换一个或多个第一模型。