[发明专利]一种bert模型压缩加速的方法、系统、设备及介质

权利要求书

1.一种bert模型压缩加速的方法，其特征在于，包括以下步骤：

构建第一学生模型，使用通用数据集训练所述第一学生模型，并基于基准bert模型将所述第一学生模型转化为预训练bert模型；

构建第二学生模型，使用自然语言任务数据集训练所述第二学生模型，并基于所述预训练bert模型将所述第二学生模型转换为伪量化模型；以及

将所述伪量化模型转换成量化模型，并对所述量化模型的算子进行合并以生成推理引擎。

2.根据权利要求1所述的方法，其特征在于，所述基于基准bert模型将所述第一学生模型转化为预训练bert模型包括：

将基准bert模型作为老师模型，构建所述老师模型和所述第一学生模型之间对应层蒸馏的目标代价函数，最小化所述目标代价函数以将所述第一学生模型转化为预训练bert模型。

3.根据权利要求1所述的方法，其特征在于，所述将所述伪量化模型转换成量化模型包括：

对所述伪量化模型进行解析以获得伪量化节点，将所述伪量化节点转换为量化节点和反量化节点。

4.根据权利要求1所述的方法，其特征在于，所述对所述量化模型的算子进行合并以生成推理引擎包括：

对矩阵乘法中的权重进行量化以生成包括比例系数的新权重，提取所述比例系数并与下一个输入量化层的量化系数进行合并。

5.一种bert模型压缩加速的方法，其特征在于，包括：

第一训练模块，配置用于构建第一学生模型，使用通用数据集训练所述第一学生模型，并基于基准bert模型将所述第一学生模型转化为预训练bert模型；

第二训练模块，配置用于构建第二学生模型，使用自然语言任务数据集训练所述第二学生模型，并基于所述预训练bert模型将所述第二学生模型转换为伪量化模型；以及

量化模块，配置用于将所述伪量化模型转换成量化模型，并对所述量化模型的算子进行合并以生成推理引擎。

6.根据权利要求5所述的系统，其特征在于，所述第一训练模块配置用于：

将基准bert模型作为老师模型，构建所述老师模型和所述第一学生模型之间对应层蒸馏的目标代价函数，最小化所述目标代价函数以将所述第一学生模型转化为预训练bert模型。

7.根据权利要求5所述的系统，其特征在于，所述量化模块配置用于：

对所述伪量化模型进行解析以获得伪量化节点，将所述伪量化节点转换为量化节点和反量化节点。

8.根据权利要求5所述的系统，其特征在于，所述量化模块配置用于：

对矩阵乘法中的权重进行量化以生成包括比例系数的新权重，提取所述比例系数并与下一个输入量化层的量化系数进行合并。

9.一种计算机设备，其特征在于，包括：

至少一个处理器；以及

存储器，所述存储器存储有可在所述处理器上运行的计算机指令，所述指令由所述处理器执行时实现权利要求1-4任意一项所述方法的步骤。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-4任意一项所述方法的步骤。