[发明专利]一种评分方法、装置、设备及存储介质

说明书

本发明提供了一种评分方法、装置、设备及存储介质，涉及评分方法技术领域，包括获取第一信息；利用预设的BERT模型对所述第一信息进行预处理，得到预处理结果；根据多尺度自注意力机制和所述预处理结果，计算得到基于BERT预训练语言模型的初级胶囊层；提取高级胶囊层，计算得到所述初级胶囊层和所述高级胶囊层的相关性；将所述文本相关的语言特征作为变量，对所述文本的质量进行评分。本发明的有益效果为通过不断迭代的特性确定低层胶囊和高层胶囊层之间的连接强度来学习层次结构特征，汇总更多有用的信息，融合胶囊神经网络构建作文评分模型，以期弥补预训练语言模型的缺陷，增强作文文本语义信息的提取能力。

技术领域

本发明涉及评分方法技术领域，具体而言，涉及一种评分方法、装置、设备及存储介质。

背景技术

作文自动评分是一个教育应用程序，旨在利用机器自动评估学生作文。作文自动评分模型包括传统特征工程的方法和基于预训练语言模型的方法。但是，局限性在于此类模型只关注表层的语言符号，在处理复杂的语义时系统使用效果较差，并且预训练语言模型应用于作文自动评分任务，但结果却未能超过其他DNN模型，其原因为作文长度接近于预训练语言模型的长度限制，限制了模型对于作文文本的学习能力，所以容易造成信息表征缺失。

发明内容

本发明的目的在于提供一种评分方法、装置、设备及存储介质，以改善上述问题。为了实现上述目的，本发明采取的技术方案如下：

第一方面，本申请提供了基于胶囊神经网络的评分方法，包括：

获取第一信息，所述第一信息包括带有多个单词的文本；

利用预设的BERT模型对所述第一信息进行预处理，得到预处理结果，其中BERT模型包括采用双向transformer编码器作为特征提取器；

根据多尺度自注意力机制和所述预处理结果，计算得到基于BERT预训练语言模型的初级胶囊层；

基于非线性函数和所述初级胶囊层，提取高级胶囊层，计算得到所述初级胶囊层和所述高级胶囊层的相关性；

通过多重损失函数和所述相关性，将所述文本相关的语言特征作为变量，对所述文本的质量进行评分。

优选地，所述利用预设的BERT模型对所述第一信息进行预处理，得到预处理结果，其中包括：

对所述文本进行词向量的嵌入进行标记，得到多个词汇标记；

将所述词汇标记进行转换，得到多个词向量；

将多个所述词向量发送至所述BERT模型中进行词嵌入编码，得到编码结果，所述BERT模型的词嵌入层包括单词嵌入、位置嵌入和段嵌入；

将所述编码结果中的隐藏向量发送至无监督学习任务进行训练，得到预处理结果，所述预处理结果包括训练后的所述BERT模型；所述无监督学习任务包括掩码语言模型和下一句预测。

优选地，所述基于非线性函数和所述初级胶囊层，提取高级胶囊层，计算得到所述初级胶囊层和所述高级胶囊层的相关性，其中包括：

初始化所述初级胶囊层中学习输出的文本的表征向量，通过非线性函数将所述表征向量转化为胶囊；

根据所述胶囊和多次迭代调整权值，将输入层和输出层之间的系数之和调整为1，并采用softmax函数进行更新；

将语义向量与预设的耦合系数进行加权求和并输出，得到输出结果；

采用压缩函数对输出结果进行归一化处理，调整所述语义向量和所述输出结果之间的相似度，得到所述初级胶囊层和所述高级胶囊层的相关性。

优选地，所述通过多重损失函数中的排序损失函数，其中包括：

将多个所述第一信息进行排序，计算得到最优排序概率；