[发明专利]一种试题难度值的置信度评价方法、装置及存储介质在审
申请号: | 202111242578.4 | 申请日: | 2021-10-25 |
公开(公告)号: | CN114004474A | 公开(公告)日: | 2022-02-01 |
发明(设计)人: | 王伟戌;陶扬;陈俊文;崔寅生;张思羽;刘洋 | 申请(专利权)人: | 作业帮教育科技(北京)有限公司 |
主分类号: | G06Q10/06 | 分类号: | G06Q10/06;G06Q50/20 |
代理公司: | 北京中联智道知识产权代理事务所(普通合伙) 11963 | 代理人: | 熊蒙 |
地址: | 100085 北京市海淀区*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 试题 难度 置信 评价 方法 装置 存储 介质 | ||
1.一种试题难度值的置信度评价方法,其特征在于,包括:
抽取试题库中的一定数量的试题,两两组成试题对;
获取试题对中试题的试题难度值,并进行试题难度值大小比较,汇总得到系统评价结果数据;
针对试题对中试题的难度大小关系进行人工评价,获取人工评价结果数据;
以所述人工评价结果数据为评价标准,与所述系统评价结果数据进行结果比对,统计计算比对相同的试题对占比,得到用于评价试题库中试题难度值信息的置信度。
2.根据权利要求1所述的一种试题难度值的置信度评价方法,其特征在于,所述获取试题对中试题的试题难度值,并进行试题难度值大小比较,汇总得到系统评价结果数据包括:
所述试题对中的试题按照格式{试题A,试题B}进行存储;
预设试题难度值差值n,n为正数;
若试题A的试题难度值-试题B的试题难度值≥n,则判定为试题A的试题难度值大于试题B的试题难度值,系统评价结果数据记为i1;
若试题A的试题难度值-试题B的试题难度值≤-n,则判定为试题A的试题难度值小于试题B的试题难度值,系统评价结果数据记为i2;
若|试题A的试题难度值-试题B的试题难度值|<n,则判定为试题A的试题难度值与试题B的试题难度值相当,系统评价结果数据记为i0;
汇总统计系统评价结果数据i0、i1及i2。
3.根据权利要求2所述的一种试题难度值的置信度评价方法,其特征在于,所述针对试题对中试题的难度大小关系进行人工评价,获取人工评价结果数据包括:
所述试题对中的试题按照格式{试题A,试题B}存储为试题对数据包;
将所述试题对数据包发送至至少一个人工评价账号;
若人工评价试题A的试题难度值大于试题B的试题难度值,则人工评价结果数据j1;
若人工评价试题A的试题难度值小于试题B的试题难度值,则人工评价结果数据j2;
若人工评价试题A的试题难度值与试题B的试题难度值相当,则人工评价结果数据j0;
汇总统计人工评价结果数据j0、j1及j2。
4.根据权利要求3所述的一种试题难度值的置信度评价方法,其特征在于,若将同一所述试题对数据包发送至多个人工评价账号,则分别获取多个人工评价账号的人工评价结果数据;
针对试题对数据包中的各个试题对分别进行人工评价结果数据的统计和投票选出占比高的人工评价结果数据作为该试题对的人工评价结果;
若存在人工评价结果数据占比相同的试题对,则综合考虑试题对数据包中其它试题对的人工评价结果数据确定该试题对的人工评价结果,或者系统抽取该试题对再次进行人工评价投放。
5.根据权利要求3所述的一种试题难度值的置信度评价方法,其特征在于,所述以所述人工评价结果数据为评价标准,与所述系统评价结果数据进行结果比对,统计计算比对相同的试题对占比,用于评价试题库中试题难度值信息的置信度包括:
针对各试题对分别用系统评价结果数据与人工评价结果数据进行比对;
若系统评价结果数据的i0对应人工评价结果数据j0、系统评价结果数据的i1对应人工评价结果数据j1、系统评价结果数据的i2对应人工评价结果数据j2,则系统评价结果数据与人工评价结果数据比对相同,标记为R,否则比对不同,标记为F;
统计标记R的数量,计算标记R的占比并输出,得到用于评价试题库中试题难度值信息的置信度;
可选地,将所述系统评价结果数据的i0、人工评价结果数据j0均记为0,将所述系统评价结果数据的i1、人工评价结果数据j1均记为1,系统评价结果数据的i2、人工评价结果数据j2均记为2;将比对结果标记R记为1,比对结果标记F记为0。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于作业帮教育科技(北京)有限公司,未经作业帮教育科技(北京)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202111242578.4/1.html,转载请声明来源钻瓜专利网。
- 同类专利
- 专利分类
G06Q 专门适用于行政、商业、金融、管理、监督或预测目的的数据处理系统或方法;其他类目不包含的专门适用于行政、商业、金融、管理、监督或预测目的的处理系统或方法
G06Q10-00 行政;管理
G06Q10-02 .预定,例如用于门票、服务或事件的
G06Q10-04 .预测或优化,例如线性规划、“旅行商问题”或“下料问题”
G06Q10-06 .资源、工作流、人员或项目管理,例如组织、规划、调度或分配时间、人员或机器资源;企业规划;组织模型
G06Q10-08 .物流,例如仓储、装货、配送或运输;存货或库存管理,例如订货、采购或平衡订单
G06Q10-10 .办公自动化,例如电子邮件或群件的计算机辅助管理