[发明专利]基于教学评价数据可信度的教学质量综合评价方法

说明书

本发明公开了基于教学评价数据可信度的教学质量综合评价方法，本发明从多源评教数据，历史评教数据和评价主体行为数据中提取特征，采用机器学习的方法对单条评教数据进行可信度分析，同时进行基于课程类型和评价主体关注度的教学质量评价指标权重自适应调整，然后基于以上两个结果，进行多指标融合课程教学质量综合评价。通过这种方法提高评教的真实性，有效性，为教学质量提升提供支持。

技术领域

本发明属于教学质量综合评价领域，具体涉及基于教学评价数据可信度的教学质量综合评价方法。

背景技术

教学评价为高等院校教学质量提高、师资队伍建设、人才培养等工作发挥着重要的作用，是高校教师教学质量保证体系不可或缺的组成部分。高等院校的课程质量评价主体一般分为学生、督导和同行。目前高校一般采用多级(二级)指标打分和文本评论两个部分结合的方法对一门课程进行评价。但是当前主要依赖指标得分加权组合计算课程的评分，文本评论内容只进行了简单的统计展示，并未充分挖掘文本评论内容。

当前教学质量评价是建立在评价内容真实可靠的假设基础上，但是现实评教主体在评教过程中存在各种行为偏差，导致评教信息失真，产生评教信息不能真实反映教师教学水平与效果的问题。学生在评教时多处于被动、态度敷衍，存在消极随意评价、自利性评价、妥协高分评价等不良评教行为，并未真正主动积极参与到评教活动中，使评教逐渐形式化。同行、督导的评教行为中也存在因人际因素导致的评价信度降低的问题。由此可见，以所有评价真实可靠为前提的评教方式难以适应当下复杂的评教环境。

同时，传统的评教认为不同主体在所有评价指标维度上的权重相同，然而实际中由于评价主体职能、专业水平不同，导致不同主体在课程评价时的关注点不同。例如：督导或同行对抬头率的关注度是高于学生的，而学生对作业量的关注度是高于督导的。现有方法并未考虑不同评价主体关注度不同对评教结果的影响。

发明内容

本发明的目的在于克服上述不足，提供一种基于教学评价数据可信度的教学质量综合评价方法，从多源评教数据，历史评教数据和评价主体行为数据中提取特征，采用机器学习的方法对单条评教数据进行可信度分析，同时进行基于课程类型和评价主体关注度的教学质量评价指标权重自适应调整，然后基于以上两个结果，进行多指标融合课程教学质量综合评价。通过这种方法提高评教的真实性，有效性，为教学质量提升提供支持。

为了达到上述目的，本发明包括以下步骤：

步骤一，对单条教学评价数据进行可信度等级分类，首先提取新获得教学评价数据的相应特征，将其作为输入；然后根据评价主体调用已构建的可信度等级分类模型，得到该条评价数据的可信度等级C_instances；

步骤二，基于多级教学评价指标体系结构，针对每一类型的课程，根据不同评价主体各自的关注度，对原有的不同主体的评价指标权重进行自适应调整；

步骤三，针对每门课程，根据评价可信得分、自适应调整的基于课程类型和评价主体关注度的指标权重计算该门课程最终的课堂教学质量得分，并降序排列所有课程得分，选出前L％为优秀课程。

步骤一中，构建单条教学评价可信度等级分类模型的具体方法如下：

第一步，单条教学评价包括指标评分和文字内容，是针对一节课或一门课程的评价记录，评价来源包括学生评价、督导评价和同行评价，分别对单条教学评价中的评论文本、指标评分提取特征，同时对评论者的评论行为提取特征；

第二步，首先，构建训练数据集并对训练数据进行可信度等级标注，将可信度分为可信、比较可信、比较不可信、不可信四个等级，采用基于规则和人工结合的方法标注训练数据的可信度等级；然后，根据第一步中提取的特征，分别在已标注可信度等级的多源评价数据上采用随机森林的方法训练评价可信度分类模型，得到学生评价可信度分类模型和督导同行评价可信度分类模型。

第一步中，对评论者的评论行为提取特征的具体方法如下：