[发明专利]一种基于BERT模型的MOOC学习者认知行为识别方法

说明书

本发明提供一种基于BERT模型的MOOC学习者认知行为识别方法，包括：获取MOOC论坛中学习者讨论文本数据，生成MOOC评论领域的专业语料；对语料进行预处理，生成包含MOOC领域专业知识预训练数据；结合预训练数据，使用MLM和NSP策略对BERT模型进行再训练，得到MOOC‑BERT；构建MOOC学习者认知行为标注数据集；使用标注数据集对MOOC‑BERT中参数和权重微调，生成面向MOOC学习者的认知行为识别模型。本发明基于BERT模型的MOOC学习者认知行为识别方法，用于提高对在线学习环境中学习者认知行为的识别能力，有效帮助教师分析大规模场景下MOOC学习者的认知行为类型。

技术领域

本发明属于自然语言处理技术、教育数据挖掘领域，具体涉及一种基于BERT模型的MOOC学习者认知行为识别方法。

背景技术

学习者认知行为是指从互动话语中抽象出的一种行为倾向，用于表征大脑中在学习交互中的思维活动，如问题求解时的分析、拆解、重构等认知技能的运用。讨论论坛、即时对话等均是促进学习者通过协作讨论实现认知加工的主要载体，而在互动过程中产生的丰富的认知行为信息则被记录在讨论文本中。通过对这些讨论文本中涵盖的认知行为进行识别与分析，有助于教师更好地理解学习者的认知加工过程。

作为疫情期间被广泛采用的在线教育形式，MOOC为学习者提供了丰富的学习资源、互动情境和灵活的学习时间，为非正式学习提供了重要途径。但由于在线学习中教师和学生在时空上处于准分离状态，师生之间缺乏有效互动，认知迷航、互动质量低、高辍学率等问题依然存在。而MOOC论坛为师生提供了重要的交流场所，交互过程中产生的大规模文本数据则为认知行为识别提供可靠数据来源。通过对讨论文本自动化分析，可追踪到MOOC学习者对知识内容进行认知加工的行为特征，这将为教师教学干预策略制定，继而为改善在线学习者认知迷航、提高互动质量及降低辍学率等方面提供支撑。

当前的认知行为识别方法需要预先手动从大量文本信息中提取各类特征，然后再将这些特征输入到了SVM(Support Vector Machine,SVM)、Bayse、Random Forest等各类机器学习模型中进行训练。但是由于MOOC课程具有规模庞大、类型繁多、中文信息量丰富等特点，另外学习者在话语中的认知等复杂行为识别也更依赖上下文信息。而现有方法存在特征提取繁琐、不易获取更多潜在语义等问题，因此识别效果难以得到有效提升。

预训练语言模型BERT作为当前性能最优的自然语言处理中算法之一，为MOOC学习者认知行为的精准识别提供可能。BERT通过在大规模预料上进行无监督训练，在诸多任务中表现出最佳性能。但由于教育领域中包含大量抽象概念、名词等，使用通用语料训练的BERT模型在涉及学习者认知行为识别任务时，效果还有待进一步提升。

发明内容

针对现有技术缺陷和改进需求，本发明提供了一种基于BERT模型的MOOC学习者认知行为识别方法，用于提高对在线学习环境中学习者认知行为的识别能力。本发明主要包括两个目标：一是使用MOOC评论领域的语料对BERT模型再次进行预训练，二是使用预训练后的模型对MOOC学习者的认知行为进行识别与分析。

一种基于BERT模型的MOOC学习者认知行为识别方法，包括以下步骤：

(1)利用爬虫技术从各大中文MOOC论坛中获取大量无标注的学习者讨论文本数据，之后对获取的大规模讨论文本数据进行预处理，得到BERT模型预训练所需的MOOC评论领域的专业语料。

(2)对步骤(1)中生成的专业领域语料进行处理，生成预训练数据。

(3)使用中文BERT版本bert-base-chinese，并在此基础上结合步骤(2)中的训练数据，使用掩盖语言模型(Masked Language Model，MLM)和下一句预测(Next SentencePrediction，NSP)对模型进行联合预训练，得到MOOC-BERT模型。