[发明专利]一种互评系统的实现方法

说明书

技术领域

本发明属于教学技术领域，涉及数据统计技术，为一种互评系统的实现方法。

背景技术

教师在教学过程中，需要对学生作业进行批改评分，以便了解教学效果，控制教学质量。

批改作业的方式大致分为三种模式：教师批改(专家评估)、机器批改(人工智能)、学生互相批改(生生互评)。

在三种模式中，专家评估是最可靠的评估方法，但由于代价高昂，不适合在大规模教学中应用(如大学公共课、大规模线上教学)。

人工智能目前只能用于答案有限的客观问题评估，对主观性较强的问题，如数学证明、程序设计、写作等难以给出合理评价。

生生互评是学生在参照评分标准的条件下对自己及其他学生作业进行评价，该机制在MOOCS平台COUSERA上得到了应用，用于减轻教师教学负担，让学生更多的参与到教学中，提高教学效率。互评包括以下流程：

1.作业提交。学生在截止期之前将作业在网上提交。

2.评价。教师公布参考答案及评分标准，为每位学生发放一定量(3-5份)待批改作业。学生在截止期之前提交批改结果。

3.对批改结果不满的学生可提请批改者重新评价。必要时由教师仲裁。

4.判分。系统根据多人评分结果，按一定规则确定作业得分。

现有技术的生生互评使用的电子系统大多数仅对数据进行接收和发送，生生互评本质上还是学生对学生进行主观评价。为了提高教学自动化，提高教学效率，如何根据生生互评结果合理确定作业得分，而不仅仅是发送接收数据，是互评系统需要解决的首要问题。目前有研究提到的方式有取中位数方法、取平均值方法及去掉最大值、最小值后取平均值等。上述方法给出的成绩仅以评分者的评分结果作为判断基础，仍然受到评分者能力及主观意愿的影响，成绩的可靠性存在一定的问题。

发明内容

本发明要解决的问题是：现有的教学自动化系统中采用的生生互评系统，其实现方式受评分者主观影响大，准确性、可靠性不够高，不能有效实现提高教学自动化以及教学效率的目的。

本发明的技术方案为：一种互评系统的实现方法，一个课程中，教师向学生布置多次作业，互评系统接收学生提交的所有作业，以及教师提交的对应各次作业的参考答案、评分标准以及作业样本，所述作业样本为教师由所布置的作业设计的包含多处错误的作业；对于每一次作业，互评系统将对应的参考答案、评分标准和作业样本发给每个学生，并将每份学生提交的作业随机分给2个以上学生进行评价，学生将评价结果反馈给互评系统；

课程结束后，互评系统综合学生对多次作业评价结果，按下列项目处理学生提交的数据：

1)学生txh提交的第th次作业由若干个得分点组成，dfh为得分点的编号，该得分点的分值权重为m(th,dfh)，学生pxh作为评分学生对得分点dfh进行了评分，df(pxh,txh,th,dfh)为学生pxh的评分结果，0表示不得分，1表示得分，-1表示未评分，如得分则分值由m(th,dfh)计算得到；

2)计算学生pxh的评价能力：

对评分学生定义诊断敏感性如下：

学生pxh评价的所有作业样本中，包含n个错误，即有n个得分点教师评价为不得分，学生pxh对所述n个得分点中的i个得分点的评价为不得分，则学生pxh的诊断敏感性定义为：

Se=in]]>

对评分学生定义诊断特异性如下：

学生pxh评价的所有作业样本中，有m个得分点教师评价为得分，学生pxh对所述m个得分点中的j个得分点的评分为得分，则学号为pxh的学生鉴别诊断特异性定义为

Sp=jm]]>

3)计算学生txh的作业得分：

3.1)对于评价一致的得分点：

在学生txh提交作业的各个得分点中，所有评分学生一致评为得分的得分点确定为得分，一致评为不得分的得分点确定为不得分；

3.2)估计学生作业的错误发生率：