[发明专利]用于压缩语义理解模型的方法、装置、设备、介质和产品

权利要求书

1.一种用于压缩语义理解模型的方法，包括：

获取目标模型；

确定所述目标模型对应的剪枝配置信息；其中，所述剪枝配置信息用于配置对语义文本的删除比例；

基于所述剪枝配置信息和所述目标模型中各个词向量的重要性分数，从所述各个词向量中删除目标词向量，得到初始压缩模型；其中，所述各个词向量为所述语义文本中各个词语对应的向量；

响应于确定所述初始压缩模型满足预设的模型收敛条件，将所述初始压缩模型确定为目标压缩模型。

2.根据权利要求1所述的方法，还包括：

响应于确定所述初始压缩模型不满足所述预设的模型收敛条件，调整所述初始压缩模型的模型参数，直至所述初始压缩模型满足所述预设的模型收敛条件。

3.根据权利要求1所述的方法，还包括：

获取样本数据和样本标签；

将所述样本数据输入所述初始压缩模型，得到模型输出数据；

响应于确定所述样本标签与所述模型输出数据之间的差异值小于预设的阈值，确定所述初始压缩模型满足所述预设的模型收敛条件。

4.根据权利要求1所述的方法，其中，所述确定所述目标模型对应的剪枝配置信息，包括：

确定所述目标模型对应的初始剪枝配置集合；

对所述初始剪枝配置集合执行以下搜索步骤：基于所述初始剪枝配置集合中各个初始剪枝配置的验证准确率，从所述初始剪枝配置集合中确定至少一个目标剪枝配置；基于预设的压缩计算量比例，对所述至少一个目标剪枝配置进行扩充，得到目标剪枝配置集合；

响应于确定当前迭代次数达到预设的次数阈值，基于所述目标剪枝配置集合，生成所述剪枝配置信息。

5.根据权利要求4所述的方法，还包括：

响应于确定所述当前迭代次数未达到所述预设的次数阈值，将所述初始剪枝配置集合更新为所述目标剪枝配置集合，并对更新后的所述初始剪枝配置集合执行所述搜索步骤，直至所述当前迭代次数达到所述预设的次数阈值。

6.根据权利要求1所述的方法，还包括：

确定与所述目标模型对应的目标自注意力图；

基于所述目标自注意力图，确定所述目标模型中各个词向量之间的依赖信息；

基于所述依赖信息，确定所述重要性分数。

7.根据权利要求6所述的方法，还包括：

获取初始自注意力图；

基于预设的稀疏化正则项和预设的稀疏化强度，对所述初始自注意力图进行稀疏化处理，得到所述目标自注意力图。

8.根据权利要求1至7任一项所述的方法，其中，所述基于所述剪枝配置信息和所述目标模型中各个词向量的重要性分数，从所述各个词向量中删除目标词向量，得到初始压缩模型，包括：

基于所述剪枝配置信息，确定目标剪枝比例；

按照所述重要性分数由低至高的顺序，从所述各个词向量中删除符合所述目标剪枝比例的数量个目标词向量，得到所述初始压缩模型。

9.一种用于压缩语义理解模型的装置，包括：

模型获取单元，被配置成获取目标模型；

配置确定单元，被配置成确定所述目标模型对应的剪枝配置信息；其中，所述剪枝配置信息用于配置对语义文本的删除比例；

初始压缩单元，被配置成基于所述剪枝配置信息和所述目标模型中各个词向量的重要性分数，从所述各个词向量中删除目标词向量，得到初始压缩模型；其中，所述各个词向量为所述语义文本中各个词语对应的向量；

目标压缩单元，被配置成响应于确定所述初始压缩模型满足预设的模型收敛条件，将所述初始压缩模型确定为目标压缩模型。

10.根据权利要求9所述的装置，其中，所述目标压缩单元进一步被配置成：

响应于确定所述初始压缩模型不满足所述预设的模型收敛条件，调整所述初始压缩模型的模型参数，直至所述初始压缩模型满足所述预设的模型收敛条件。