[发明专利]用于动态显示处理文本数据的评估系统的用户界面的系统和方法

说明书

一种用于动态显示被配置为评估由机器学习系统生成的预测答案的评估系统的用户界面的方法和系统。方法包括接收文本数据和对与文本对象相关联的问题的预测答案。文本对象包括结构化数据字段。预测答案包括置信水平。置信水平由机器学习系统基于机器学习系统的一个或多个模型和文本数据确定。响应于确定置信水平大于或等于预定置信阈值，存储预测答案和引用以供检取和显示。响应于确定置信水平小于预定置信阈值，在用户界面处向用户显示问题和与问题相关联的文本对象以供输入真实答案。

相关申请的交叉引用

本申请要求于2019年4月3日提交的题为“SYSTEMS AND METHODS FORDYNAMICALLY DISPLAYING A USER INTERFACE OF AN EVALUATION SYSTEM PROCESSINGTEXTUAL DATA(用于动态显示处理文本数据的评估系统的用户界面的系统和方法)”的美国临时专利申请第62/828,876号的优先权，其通过引用整体并入本文。

背景技术

本发明的某些实施例涉及处理文本数据的评估系统。更具体地，本发明的一些实施例提供了用于动态显示处理文本数据的评估系统的用户界面的系统和方法。

随着对处理文本数据和自然语言数据的需求的不断增加，在对文本和自然语言数据以及被包括在大量文档和文件中的其他信息进行分析和分类中通常采用机器学习(ML)系统。为确保ML系统预测的结果符合用户指定的准确度和公差目标，结果需接受外部评估。然而，用于审查预测结果的常规评估系统通常涉及人类专家的多轮审查。此外，常规的评估系统通常要求人类专家在连续的基础上审查文档中的不同的感兴趣区域，识别关于预测结果的错误，和/或校正预测结果。人类专家的连续审查是劳动密集型、耗时的，而且随着需要评估的结果数量的增加，成本也会增加。

因此，非常期望提供和/或改进用于动态显示处理文本数据的评估系统的用户界面的技术。

发明内容

本发明的某些实施例涉及处理文本数据的评估系统。更具体地，本发明的一些实施例提供了用于动态显示处理文本数据的评估系统的用户界面的系统和方法。

根据一些实施例，一种用于动态显示被配置为评估由机器学习系统生成的预测答案的评估系统的用户界面的方法，方法包括接收文本数据和对与文本对象相关联的问题的第一预测答案。文本对象包括文本数据的结构化数据字段。第一预测答案包括第一置信水平。第一置信水平由至少部分基于机器学习系统的一个或多个第一模型和文本数据的机器学习系统确定。响应于确定第一置信水平大于或等于第一预定置信阈值，将第一预测答案和引用存储在存储器中以供检取和显示。引用指示文本对象在文本数据中的位置。响应于确定置信水平小于第一预定置信阈值：在用户界面上向用户显示问题和与问题相关联的文本对象以供输入真实答案；以及响应于确定置信水平大于或等于第二预定置信阈值，在用户界面上显示与文本对象相关的第一预测答案和上下文指导。响应于通过用户界面接收到真实答案：至少部分地基于机器学习系统的一个或多个第一模型来确定与真实答案相关联的第一准确度分数；至少部分地基于第一准确度分数改变第一预定置信阈值；以及第一准确度分数、真实答案以及引用被存储在存储器中以供检取和显示。第一预定置信阈值大于或等于第二预定置信阈值。