[发明专利]一种试题难度值的置信度评价方法、装置及存储介质

说明书

本发明公开了一种试题难度值的置信度评价方法、装置及存储介质，所述试题难度值的置信度评价方法，包括：抽取试题库中的一定数量的试题，两两组成试题对；获取试题对中试题的试题难度值，并进行试题难度值大小比较，汇总得到系统评价结果数据；针对试题对中试题的难度大小关系进行人工评价，获取人工评价结果数据；以所述人工评价结果数据为评价标准，与所述系统评价结果数据进行结果比对，统计计算比对相同的试题对占比，得到用于评价试题库中试题难度值信息的置信度。本发明不再关注具体每道试题的试题难度值，通过针对试题对难度值大小关系比较结果，统计计算人工评价结果数据与系统评价结果数据相一致的占比，实现对试题难度值的置信度评价。

技术领域

本发明涉及在线教育技术领域，具体的涉及一种试题难度值的置信度评价方法、装置及存储介质。

背景技术

在线教育平台为了提供拍照搜题、智能练习、作业批改等线上服务，一般都需要基于强大的试题数据库。针对试题数据库中的试题，为了给用户提供更加全面的使用体验，常常会标注试题的学科、年级、区域以及难度值等试题属性标签，其中学科、年级、区域等试题属性标签可由获取试题的试卷资源中自动获取，而试题的难度值的标注主观性较强，由于缺乏评价标准，导致试题难度值的置信度无法评价。

现有试题难度值大多通过老师人工进行标注的方式，由于试题的难度值具有主观因素，多名老师对于同一道试题的评判标准不同，导致对于同一道试题的难度值的标注存在偏差。这种特性造成了很难去评价一道试题的难度值是否合理，即试题难度值是否具有参考价值。

另外，针对试题难度值的标注还有通过系统算法自动批量得到的，但是出于对系统算法可靠性的考虑，同样需要针对试题难度值进行置信度评价。

有鉴于此，特提出本发明。

发明内容

本发明为了解决上述技术问题，提供了一种试题难度值的置信度评价方法、装置及存储介质，具体技术方案如下：

本发明提出了一种试题难度值的置信度评价方法，包括：

抽取试题库中的一定数量的试题，两两组成试题对；

获取试题对中试题的试题难度值，并进行试题难度值大小比较，汇总得到系统评价结果数据；

针对试题对中试题的难度大小关系进行人工评价，获取人工评价结果数据；

以所述人工评价结果数据为评价标准，与所述系统评价结果数据进行结果比对，统计计算比对相同的试题对占比，得到用于评价试题库中试题难度值信息的置信度。

作为本发明的可选实施方式，所述获取试题对中试题的试题难度值，并进行试题难度值大小比较，汇总得到系统评价结果数据包括：

所述试题对中的试题按照格式{试题A，试题B}进行存储；

预设试题难度值差值n，n为正数；

若试题A的试题难度值-试题B的试题难度值≥n，则判定为试题A的试题难度值大于试题B的试题难度值，系统评价结果数据记为i1；

若试题A的试题难度值-试题B的试题难度值≤-n，则判定为试题A的试题难度值小于试题B的试题难度值，系统评价结果数据记为i2；

若|试题A的试题难度值-试题B的试题难度值|＜n，则判定为试题A的试题难度值与试题B的试题难度值相当，系统评价结果数据记为i0；

汇总统计系统评价结果数据i0、i1及i2。

作为本发明的可选实施方式，所述针对试题对中试题的难度大小关系进行人工评价，获取人工评价结果数据包括：

所述试题对中的试题按照格式{试题A，试题B}存储为试题对数据包；

将所述试题对数据包发送至至少一个人工评价账号；