[发明专利]没有参考标准的简答题评分

权利要求书

1.一种用于使用未标记的数据对目标答案进行评分的计算机实现的方法，所述方法包括：

识别一组伪参考答案；

对所述一组伪参考答案进行评分；

至少部分地基于一组专业知识度量来对所述一组经评分的伪参考答案进行加权；和

至少部分地基于经加权的一组经评分的伪参考答案确定所述目标答案的分数。

2.根据权利要求1所述的计算机实现的方法，进一步包括：

为多个学生中的每一个生成相应的学生简档，每一个相应的学生简档都包括赋予给由相应学生提供的历史答案的分数；和

至少部分地基于相应的学生简档来确定每个专业知识度量，

其中确定所述目标答案的分数包括对经加权的一组经评分的伪参考答案进行求和以获得总和，并针对所述一组专业知识度量的总和规格化所述总和。

3.根据权利要求2所述的计算机实现的方法，其中对所述一组伪参考答案进行加权还包括将每个加权的伪参考答案乘以指示问题难度水平的问题难度度量。

4.根据权利要求2所述的计算机实现的方法，其中确定所述目标答案的分数进一步包括：

使用标记的学生答案来训练分类器；和

利用经训练的分类器对所述一组伪参考答案进行评分。

5.根据权利要求1所述的计算机实现的方法，进一步包括：

至少部分地基于一个或多个基于文本的特征将一组初始伪参考答案聚集成一组聚类，以获得一组聚类；

将所述一组聚类与所述一组专业知识度量进行比较，以将相应的标记分配给所述一组聚类中的每一个聚类；

将所述一组聚类的一组聚类中心指定为所述一组伪参考答案。

6.根据权利要求5所述的计算机实现的方法，其中所述一个或多个基于文本的特征包括以下中的至少一项：所述一组初始伪参考答案之间的词重叠，或所述一组初始伪参考答案之间的语义相似性。

7.根据权利要求1所述的计算机实现的方法，其中所述目标答案是第一目标答案，所述方法进一步包括：

将所述一组伪参考答案聚集成一组聚类，所述一组聚类定义所有潜在答案的矢量空间；和

至少部分地通过将矢量代数应用于所述矢量空间来确定第二目标答案的分数。

8.一种用于使用未标记的数据对目标答案进行评分的系统，所述系统包括：

存储计算机可执行指令的至少一个存储器；和

发送设备的至少一个处理器，其中所述至少一个处理器被配置为访问所述至少一个存储器并执行所述计算机可执行指令，以执行根据权利要求1至7中任一项所述的方法中的步骤。

9.一种用于使用未标记的数据对目标答案进行评分的计算机程序产品，所述计算机程序产品包括可由处理电路读取的存储介质，所述存储介质存储可由所述处理电路执行以使根据权利要求1至7中任一项所述的方法中的步骤被执行的指令。

10.一种计算机系统，包括被配置为执行根据权利要求1至7中任一项所述的方法中的步骤的模块。