[发明专利]针对预训练语言模型BERT的知识蒸馏方法、装置及系统

权利要求书

1.针对预训练语言模型BERT的知识蒸馏方法，其特征在于，所述知识蒸馏方法包括蒸馏训练阶段和微调测试阶段；其中，

所述蒸馏训练阶段包括：

获取无标签文本；

利用BERT模型编码，获取所述无标签文本的BERT句向量；

利用BiLSTM模型编码，获取所述无标签文本的BiLSTM句向量；

基于所述BERT句向量和所述BiLSTM句向量，训练获得最佳BiLSTM模型；

所述微调测试阶段包括：

将有标签数据集输入最佳BiLSTM模型，进行微调训练；

将测试集输入微调后的BiLSTM模型，计算输出结果。

2.根据权利要求1所述的知识蒸馏方法，其特征在于，通过反向传播算法更新梯度训练并获得最佳BiLSTM模型。

3.根据权利要求1所述的知识蒸馏方法，其特征在于，利用BERT模型编码，获取所述无标签文本的[CLS]字符对应的向量作为BERT句向量。

4.根据权利要求1所述的知识蒸馏方法，其特征在于，利用BiLSTM模型编码，获取所述无标签文本的序列最后时刻的隐状态向量作为BiLSTM句向量。

5.针对预训练语言模型BERT的知识蒸馏装置，其特征在于，所述装置包括蒸馏训练模块和微调测试模块；其中，

所述蒸馏训练模块包括：

获取单元，用于获取无标签文本；

BERT句向量单元，用于利用BERT模型编码，获取所述无标签文本的BERT句向量；

BiLSTM句向量单元，用于利用BiLSTM模型编码，获取所述无标签文本的BiLSTM句向量；

训练单元，用于基于所述BERT句向量和所述BiLSTM句向量，训练获得最佳BiLSTM模型；

所述微调测试模块包括：

微调单元，用于将有标签数据集输入最佳BiLSTM模型，进行微调训练；

测试单元，用于将测试集输入微调后的BiLSTM模型，计算输出结果。

6.根据权利要求5所述的知识蒸馏装置，其特征在于，所述训练单元通过反向传播算法更新梯度训练并获得最佳BiLSTM模型。

7.根据权利要求5所述的知识蒸馏装置，其特征在于，所述BERT句向量单元利用BERT模型编码，获取所述无标签文本的[CLS]字符对应的向量作为BERT句向量。

8.根据权利要求5所述的知识蒸馏装置，其特征在于，所述BiLSTM句向量单元利用BiLSTM模型编码，获取所述无标签文本的序列最后时刻的隐状态向量作为BiLSTM句向量。

9.针对预训练语言模型BERT的知识蒸馏系统，其特征在于，包括：

存储器，用于存储计算机程序；以及

处理器，用于执行所述计算机程序时实现如权利要求1至4中一个或多个所述的方法。

10.一种芯片，其特征在于，所述芯片与系统中的存储器耦合，使得所述芯片在运行时调用所述存储器中存储的程序指令，实现如权利要求1至4中一个或多个所述的方法。

11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括一个或多个程序指令，所述一个或多个程序指令可被如权利要求9所述的系统执行，以实现如权利要求1至4中一个或多个所述的方法。