[发明专利]一种互评系统的实现方法

权利要求书

1.一种互评系统的实现方法，一个课程中，教师向学生布置多次作业，其特征是互评系统接收学生提交的所有作业，以及教师提交的对应各次作业的参考答案、评分标准以及作业样本，所述作业样本为教师由所布置的作业设计的包含多处错误的作业；对于每一次作业，互评系统将对应的参考答案、评分标准和作业样本发给每个学生，并将每份学生提交的作业随机分给2个以上学生进行评价，学生将评价结果反馈给互评系统；

课程结束后，互评系统综合学生对多次作业评价结果，按下列项目处理学生提交的数据：

1)学生txh提交的第th次作业由若干个得分点组成，dfh为得分点的编号，该得分点的分值权重为m(th,dfh)，学生pxh作为评分学生对得分点dfh进行了评分，df(pxh,txh,th,dfh)为学生pxh的评分结果，0表示不得分，1表示得分，-1表示未评分，如得分则分值由m(th,dfh)计算得到；

2)计算学生pxh的评价能力：

对评分学生定义诊断敏感性如下：

学生pxh评价的所有作业样本中，包含n个错误，即有n个得分点教师评价为不得分，学生pxh对所述n个得分点中的i个得分点的评价为不得分，则学生pxh的诊断敏感性定义为：

Se=in]]>

对评分学生定义诊断特异性如下：

学生pxh评价的所有作业样本中，有m个得分点教师评价为得分，学生pxh对所述m个得分点中的j个得分点的评分为得分，则学号为pxh的学生鉴别诊断特异性定义为

Sp=jm]]>

3)计算学生txh的作业得分：

3.1)对于评价一致的得分点：

在学生txh提交作业的各个得分点中，所有评分学生一致评为得分的得分点确定为得分，一致评为不得分的得分点确定为不得分；

3.2)估计学生作业的错误发生率：

对于学生txh提交的得到评价一致的得分点，其中评为得分的数目为t₁，评为不得分的数目为t₂，则学生txh的错误发生率为：

ER=t2t1+t2]]>

3.3)对于评价不一致的得分点，根据贝叶斯模型计算非一致性评价的作业不得分概率：

设总共有有N个评分学生独立对学生txh的同一得分点进行评分，对应的敏感性和特异性分别为Se₁,Se₂,...,Se_N,Sp₁,Sp₂,...,Sp_N，设其中前k个学生评分为0，后N-k个学生评分为1，设评分对应事件为A₁,A₂,...,A_k及A₁,A₂,...,A_k表示k个学生对得分点评分为0，表示后N-k个学生对得分点评分为1，作业提交者txh的错误率为ER，

记得分点不得分的事件为B，根据条件概率公式，不得分概率为：

P(B/A1A2...AkAk+1‾,Ak+2‾...,AN‾)=P(BA1A2...AkAk+1‾,Ak+2‾...,AN‾)P(A1A2...AkAk+1‾,Ak+2‾...,AN‾)=P(A1A2...AkAk+1‾,Ak+2‾...,AN‾/B)P(B)P(A1A2...AkAk+1‾,Ak+2‾...,AN‾)]]>

由于各学生间评分相互独立，得：

P(A1A2...AkAk+1‾,Ak+2‾...,AN‾/B)=Πp=1kP(Ap/B)Πq=k+1NP(Aq‾/B)=Πp=1kSepΠq=k+1N(1-Seq)]]>

根据全概率公式，有：

P(A1A2...AkAk+1‾,Ak+2‾...,AN‾)=P(A1A2...AkAk+1‾,Ak+2‾...,AN‾/B)P(B)+P(A1A2...AkAk+1‾,Ak+2‾...,AN‾/B‾)P(B‾)=Πp=1kP(Ap/B)Πq=k+1NP(Aq‾/B)P(B)+Πp=1kP(Ap/B‾)Πq=k+1NP(Aq‾/B‾)P(B‾)=Πp=1kSepΠq=k+1N(1-Seq)ER+Πp=1k(1-Spp)Πq=k+1NSpq(1-ER)]]>

因此：

P(B/A1A2...AkAk+1‾,Ak+2‾...,AN‾)=Πp=1kSepΠq=k+1N(1-Seq)ERΠp=1kSepΠq=k+1N(1-Seq)ER+Πp=1k(1-Sep)Πq=k+1NSpq(1-ER)]]>

3.4)根据概率确定评价不一致的得分点的得分：

设定阈值α，若则该得分点不得分，若则该得分点得分，若则互评系统将该得分点的评价任务发送给教师，α对应于教师处理强度，α越高则发送给教师处理的几率越高。