[发明专利]一种互评系统的实现方法

摘要

一种互评系统的实现方法，互评系统接收学生提交的所有作业，以及教师提交的对应各次作业的参考答案、评分标准以及作业样本；对于每一次作业，互评系统将对应的参考答案、评分标准和作业样本发给每个学生，并将每份学生提交的作业随机分给2个以上学生进行评价，学生将评价结果反馈给互评系统；互评系统综合学生对多次作业评价结果，处理学生提交的数据得到最终评分结果。本发明的互评系统通过这种方式实现了对评分结果的划分和智能计算，提高最终得到的评分结果的正确性和可靠性，实现自动化智能的对学生提交数据的处理，有效提高了教学效率。

主权项

一种互评系统的实现方法，一个课程中，教师向学生布置多次作业，其特征是互评系统接收学生提交的所有作业，以及教师提交的对应各次作业的参考答案、评分标准以及作业样本，所述作业样本为教师由所布置的作业设计的包含多处错误的作业；对于每一次作业，互评系统将对应的参考答案、评分标准和作业样本发给每个学生，并将每份学生提交的作业随机分给2个以上学生进行评价，学生将评价结果反馈给互评系统；课程结束后，互评系统综合学生对多次作业评价结果，按下列项目处理学生提交的数据：1)学生txh提交的第th次作业由若干个得分点组成，dfh为得分点的编号，该得分点的分值权重为m(th,dfh)，学生pxh作为评分学生对得分点dfh进行了评分，df(pxh,txh,th,dfh)为学生pxh的评分结果，0表示不得分，1表示得分，‑1表示未评分，如得分则分值由m(th,dfh)计算得到；2)计算学生pxh的评价能力：对评分学生定义诊断敏感性如下：学生pxh评价的所有作业样本中，包含n个错误，即有n个得分点教师评价为不得分，学生pxh对所述n个得分点中的i个得分点的评价为不得分，则学生pxh的诊断敏感性定义为：Se=in]]>对评分学生定义诊断特异性如下：学生pxh评价的所有作业样本中，有m个得分点教师评价为得分，学生pxh对所述m个得分点中的j个得分点的评分为得分，则学号为pxh的学生诊断特异性定义为Sp=jm]]>3)计算学生txh的作业得分：3.1)对于评价一致的得分点：在学生txh提交作业的各个得分点中，所有评分学生一致评为得分的得分点确定为得分，一致评为不得分的得分点确定为不得分；3.2)估计学生作业的错误发生率：对于学生txh提交的得到评价一致的得分点，其中评为得分的数目为t1，评为不得分的数目为t2，则学生txh的错误发生率为：ER=t2t1+t2]]>3.3)对于评价不一致的得分点，根据贝叶斯模型计算非一致性评价的作业不得分概率：设总共有N个评分学生独立对学生txh的同一得分点进行评分，对应的诊断敏感性和诊断特异性分别为Se1,Se2,...,SeN,Sp1,Sp2,...,SpN，设其中前k个学生评分为0，后N‑k个学生评分为1，设评分对应事件为A1,A2,...,Ak及A1,A2,...,Ak表示k个学生对得分点评分为0，表示后N‑k个学生对得分点评分为1，作业提交者txh的错误率为ER，记得分点不得分的事件为B，根据条件概率公式，不得分概率为：P(B/A1A2...AkAk+1‾,Ak+2‾...,AN‾)=P(BA1A2...AkAk+1‾,Ak+2‾...,AN‾)P(A1A2...AkAk+1‾,Ak+2‾...,AN‾)=P(A1A2...AkAk+1‾,Ak+2‾...,AN‾/B)P(B)P(A1A2...AkAk+1‾,Ak+2‾...,AN‾)]]>由于各学生间评分相互独立，得：P(A1A2...AkAk+1‾,Ak+2‾...,AN‾/B)=Πp=1kP(Ap/B)Πq=k+1NP(Aq‾/B)=Πp=1kSepΠq=k+1N(1-Seq)]]>根据全概率公式，有：P(A1A2...AkAk+1‾,Ak+2‾...,AN‾)=P(A1A2...AkAk+1‾,Ak+2‾...,AN‾/B)P(B)+P(A1A2...AkAk+1‾,Ak+2‾...,AN‾/B‾)P(B‾)=Πp=1kP(Ap/B)Πq=k+1NP(Aq‾/B)P(B)+Πp=1kP(Ap/B‾)Πq=k+1NP(Aq‾/B‾)P(B‾)=Πp=1kSepΠq=k+1N(1-Seq)ER+Πp=1k(1-Spp)Πq=k+1NSpq(1-ER)]]>因此：P(B/A1A2...AkAk+1‾,Ak+2‾...,AN‾)=Πp=1kSepΠq=k+1N(1-Seq)ERΠp=1kSepΠq=k+1N(1-Seq)ER+Πp=1k(1-Spp)Πq=k+1NSpq(1-ER)]]>3.4)根据概率确定评价不一致的得分点的得分：设定阈值α，若则该得分点不得分，若则该得分点得分，若则互评系统将该得分点的评价任务发送给教师，α对应于教师处理强度，α越高则发送给教师处理的几率越高。