[发明专利]一种引入自注意力机制的知识查询网络模型

说明书

针对知识查询网络和自注意力知识追踪模型的不足，设计了引入自注意力机制的知识查询网络模型。本发明的目的是为了知识查询网络、自注意力机制各自的优势，在知识查询网络中引入自注意力机制在保留模型建模序列的能力的同时还能增强关联单个序列的不同位置以计算序列的表示来获得更加准确的学生历史做题记录内部关键特征。并且在模型损失函数中加入了对应重构错误的正则化项以增强模型预测的一致性进而解决其存在的重构错误。

技术领域

本发明属于智能教育领域，应用于知识追踪任务。

背景技术

一、名词解释：1.知识追踪(knowledge tracing，KT)：根据学习者的答题记录建模得到学习者的知识掌握状态并预测学习者在下一题目的答对概率。

2.知识查询(convolutional neural networks，KQN)：2019年研究者提出知识查询网络以解决知识追踪任务，它利用神经网络将学生的当前时间步的历史交互序列和下一个时间步题目包含的KC编码为相同维度的知识状态向量和技能向量，然后用两个向量之间的点积来定义学生知识状态和KC的相互作用。

3.长短期记忆网络(long short-term memory，LSTM)：LSTM模型是研究者针对RNN的梯度消失和梯度爆炸问题而提出的改进模型。它在原始RNN模型之上加入“门”来控制信息的传递，可在一定程度上避免梯度消失与爆炸问题，获取序列的长距离依赖信息。

4.自注意力机制(self-attention Mechanism)：源于对人类视觉的研究。在认知科学中，由于信息处理的瓶颈，人类会选择性地关注所有信息的一部分，同时忽略其他可见的信息；后来有人把这个思想运用到图像处理和自然语言处理当中，并取得了不错的效果，最近有人引入自注意力机制到知识追踪任务中，其目的是为了更好地关注那些对预测更重要的学习历史序列。

5.重构错误(reconstruct problem)：知识查询网络模型的一大问题就是重构错误，即当学生正确回答包含某技能的题目时，但模型对当前时间步学生能否答对包含该技能的题目的预测概率反而降低，反之亦然。

6.知识成分(knowledge component，KC)：KC可以被泛化地理解为知识点、知识概念、原理、事实或者技能。

二、现有技术：1.(1)贝叶斯知识追踪(bayesian knowledge tracing，BKT)方法：BKT模型将学生知识状态建模为一组潜在的二元变量，同时利用隐马尔可夫模型(hiddenmarkov model，HMM)根据学生回答问题的对错情况等可观测变量来更新学生知识状态这个潜在变量。虽然BKT及其扩展模型在KT领域已经取得了很大成功，但是其本身仍存在不小的问题。第一，学习者的知识状态表示为一组二元变量的设定不符合现实世界中的学习过程；第二，BKT针对每个KC分开建模的方式使它无法捕捉不同KC间的关系，也无法对未定义的KC进行建模。(2)深度知识追踪模型(deep knowledge tracing，DKT)：2015 年，DKT模型首次将深度神经网络引入到知识追踪任务中，它利用LSTM建模学生序列并取得了不错的效果，但其可解释性一直为人质疑。(3)知识查询网络(knowledge query network，KQN)模型：利用神经网络将学生的当前时间步的历史交互序列和下一个时间步题目包含的KC编码为相同维度的知识状态向量和技能向量，然后用两个向量之间的点积来定义学生知识状态和KC的相互作用，它和DKT一样都存在重构错误。

2.自注意力知识追踪(self attention KT，SAKT)模型：率先在KT领域使用了Transformer 结构替代原始DKT模型使用的RNN，解决了RNN存在的长期依赖问题并使得模型预测性能大大提升，但是，SAKT模型也丧失了RNN对序列建模的能力。