[发明专利]一种概念增强表示与单向蕴含注意力的主观题自动阅卷神经网络模型

权利要求书

1.一种概念增强表示与单向蕴含注意力的主观题自动阅卷神经网络模型，其特征在于：首先结合双向长短时记忆神经网络BiLSTM和机器学习的条件随机场CRF的方法自动识别题目中的概念系列；然后通过多头注意力机制实现概念字嵌入向量序列对参考答案和学生答案字嵌入向量序列的增强表示建模；并通过一个BiLSTM对参考答案和学生答案上下文信息进行编码；最后通过一种单向蕴含注意力层估算出学生答案对参考答案的语义包含，进而在单向蕴含匹配向量的基础上聚集信息并进行学生答案得分区间的概率分布预测；

所述单向蕴含注意力层实现的方法为，通过学生答案对参考答案的语义包含，实现对学生答案正确程度的评估，并且采用一种学生答案对参考答案的单向蕴含注意力层估算出学生答案对参考答案的语义包含程度，所述的单向蕴含匹配是指只考虑学生答案对参考答案的语义包含，而不考虑参考答案对学生答案的语义包含；

所述单向蕴含注意力层实现的具体计算过程如下，

(a)首先分别计算参考答案P的每个前向、后向上下文嵌入和学生答案句子Q中所有前向、后向上下文嵌入之间的余弦相似性：

(b)以作为的权重，加权求和学生答案Q的所有上下文嵌入分别计算出在学生答案句子Q中的注意向量

(c)将参考答案P的每个前向、后向上下文嵌入与其相对应的注意向量进行匹配，分别得到两个k种视角的匹配向量和

其中，为k种视角的向量匹配函数，其计算公式为：

其中，v₁、v₂为任意两个维度为d的向量，是一个形状为k×d的可训练的多视角参数矩阵，k是多视角的数目，w_r为W的第r行，表示向量的逐元素相乘，

(d)重复步骤(a)到(c)，计算出参考答案P的每个前向及后向上下文嵌入与其在学生答案Q中相对应的注意向量，得到一个学生答案Q对参考答案P的单向蕴含匹配矩阵其中表示向量和相连接，n为参考答案中字的个数。

2.根据权利要求1所述的概念增强表示与单向蕴含注意力的主观题自动阅卷神经网络模型，其特征在于：包含概念提取层、答案表示层、概念增强表示层、上下文表示层、单向蕴含注意力层、聚集层和预测层。

3.根据权利要求2所述的概念增强表示与单向蕴含注意力的主观题自动阅卷神经网络模型，其特征在于：

所述答案表示层为，将题目、参考答案、学生答案转换为维度为d的预训练的字嵌入向量序列T、P、Q；

所述概念提取层为，结合BiLSTM和CRF的方法，自动识别和提取题目中的概念系列；

所述概念增强表示层为，通过多头注意力机制，计算出答案字嵌入与概念字嵌入向量序列的相关度，将与答案字嵌入最为相关的概念序列信息整合到答案字嵌入中，实现概念字嵌入向量序列对参考答案和学生答案的字嵌入向量序列的增强表示建模；

所述上下文表示层为，采用一个相同的BiLSTM，分别对参考答案和学生答案的上下文信息进行编码；

所述单向蕴含注意力层为，采用一种学生答案对参考答案的单向蕴含注意力匹配的方式，估算出学生答案对参考答案的语义包含程度，得到学生答案对参考答案的单向蕴含匹配矩阵M；

所述聚集层为，使用一个双向长短期记忆神经网络，完成学生答案对参考答案匹配矩阵M的聚集与转换，得到一个固定长度的匹配向量其中L为聚集层每个时间步中隐藏层的节点数；

所述预测层为，使用一个全接连的两层前馈神经网络来计算固定长度的匹配向量并在输出层中应用softmax(·)函数评估学生答案在各得分区间的概率分布Pr(y|T,P,Q)，将概率最高的标签设置为最终结果。