[发明专利]没有参考标准的简答题评分

说明书

本公开涉及没有参考标准的简答题评分。描述了用于使用未标记的数据来确定目标学生答案的分数的系统、方法和计算机可读介质。目标答案是由学生对没有参考标准答案数据的问题给出的。一组学生答案用作一组伪参考答案，分类器用于基于每个其他答案对每个答案进行评分。以这种方式，每个学生答案作为每个其他学生答案的伪参考答案。也可以使用聚类方法将一组学生答案聚集成多个聚类。聚类的质心则可以作为所述一组伪参考答案。聚类提高了为目标学生答案确定的分数的鲁棒性和效率。

技术领域

本发明一般地涉及答案评分，更具体地涉及在没有参考答案的情况下的答案评分。

背景技术

在没有参考答案的情况下，自动评估诸如学生对论文或简答题的答案之类的简短回答可能是一项困难的任务。参考答案可能由于数据不完整而不可用，或者在某些情况下因为问题集合没有一组清晰、封闭的“正确”答案而不可用。

发明内容

在一个或多个示例实施例中，公开了一种用于使用未标记的数据对目标答案进行评分的方法。该方法包括识别一组伪参考答案并对该组伪参考答案进行评分。该方法还包括至少部分地基于一组专业知识度量来对该组经评分的伪参考答案进行加权，并且至少部分地基于经加权的该组经评分的伪参考答案来确定目标答案的分数。

在一个或多个其他示例实施例中，公开了一种用于使用未标记的数据对目标答案进行评分的系统。该系统包括存储计算机可执行指令的至少一个存储器和被配置为访问该至少一个存储器并执行计算机可执行指令以执行一组操作的至少一个处理器。操作包括识别一组伪参考答案并对该组伪参考答案进行评分。这些操作还包括至少部分地基于一组专门知识度量来对该组经评分的伪参考答案进行加权，并且至少部分地基于经加权的该组经评分的伪参考答案来确定目标答案的分数。

在一个或多个其他示例实施例中，公开了一种用于使用未标记的数据对目标答案进行评分的计算机程序产品。该计算机程序产品包括可由处理电路读取的非暂时性存储介质，该存储介质存储可由处理电路执行以使得方法得以执行的指令。该方法包括识别一组伪参考答案并对该组伪参考答案进行评分。该方法还包括至少部分地基于一组专业知识度量来对该组经评分的伪参考答案进行加权，并且至少部分地基于经加权的该组经评分的伪参考答案来确定目标答案的分数。

附图说明

参考附图阐述详细描述。附图仅仅是为了说明的目的而提供的，并且仅仅描述了本公开的示例性实施例。提供附图是为了便于理解本公开，并且不应被视为限制本公开的宽度、范围或适用性。在附图中，参考数字的最左边的数字标识参考数字首次出现的附图。使用相同的参考数字来表示相似但不一定相同的组件。然而，不同的参考数字也可以用来标识相似的组件。各种实施例可以利用不同于附图所示的元件或组件，并且一些元件和/或组件可以不存在于各种实施例中。根据上下文，使用单数术语来描述组件或元件可以包括多个这样的组件或元件，反之亦然。

图1是示意性混合数据流/框图，示出了根据示例实施例的使用未标记的数据的答案评分。

图2是根据一个或多个示例实施例的用于至少部分地基于赋予一组伪参考答案的分数对目标答案进行评分的说明性方法的过程流程图。

图3是根据一个或多个示例实施例的用于聚集一组答案以获得聚类并选择聚类中心为该组伪参考答案的说明性方法的过程流程图。

图4是被配置为实现一个或多个示例实施例的说明性计算设备的示意图。

具体实施方式

示例实施例涉及用于使用未标记的数据来确定目标学生答案分数的系统、方法、计算机可读介质、技术和方法等。在示例实施例中，目标答案是由学生对没有参考标准答案数据的问题提供的。例如，问题可以是开放式论文问题，或者要求不能被标记为明确正确答案的基于文本的答案的其他简短问题。