[发明专利]用于压缩语义理解模型的方法、装置、设备、介质和产品

说明书

本公开提供了用于压缩语义理解模型的方法、装置、设备、介质和产品，涉及人工智能技术领域，具体为深度学习、图像处理、计算机视觉技术领域，可应用于OCR等场景。具体实现方案为：获取目标模型；确定目标模型对应的剪枝配置信息；基于剪枝配置信息和目标模型中各个词向量的重要性分数，从各个词向量中删除目标词向量，得到初始压缩模型；响应于确定初始压缩模型满足预设的模型收敛条件，将初始压缩模型确定为目标压缩模型。本实现方式可以降低语义理解模型的计算量，从而降低语义理解耗时。

技术领域

本公开涉及人工智能技术领域，具体为深度学习、图像处理、计算机视觉技术领域，可应用于OCR等场景。

背景技术

目前，自然语言处理是人工智能领域中尤为重要的研究方向，其广泛应用于OCR(Optical Character Recognition，光学字符识别)、情感分类和语义匹配等场景。

在实践中发现，现在的语义理解模型通常需要吸收海量语言中词汇、结构、语义等方面的知识，从而导致语义理解模型的计算量较大，进而导致语义理解耗时较长。

发明内容

本公开提供了一种用于压缩语义理解模型的方法、装置、设备、介质和产品。

根据本公开的一方面，提供了一种用于压缩语义理解模型的方法，包括：获取目标模型；确定目标模型对应的剪枝配置信息；其中，剪枝配置信息用于配置对语义文本的删除比例；基于剪枝配置信息和目标模型中各个词向量的重要性分数，从各个词向量中删除目标词向量，得到初始压缩模型；其中，各个词向量为语义文本中各个词语对应的向量；响应于确定初始压缩模型满足预设的模型收敛条件，将初始压缩模型确定为目标压缩模型。

根据本公开的另一方面，提供了一种用于压缩语义理解模型的装置，包括：模型获取单元，被配置成获取目标模型；配置确定单元，被配置成确定目标模型对应的剪枝配置信息；其中，剪枝配置信息用于配置对语义文本的删除比例；初始压缩单元，被配置成基于剪枝配置信息和目标模型中各个词向量的重要性分数，从各个词向量中删除目标词向量，得到初始压缩模型；其中，各个词向量为语义文本中各个词语对应的向量；目标压缩单元，被配置成响应于确定初始压缩模型满足预设的模型收敛条件，将初始压缩模型确定为目标压缩模型。

根据本公开的另一方面，提供了一种电子设备，包括：一个或多个处理器；存储器，用于存储一个或多个程序；当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现如上任意一项用于压缩语义理解模型的方法。

根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，计算机指令用于使计算机执行如上任意一项用于压缩语义理解模型的方法。

根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行时实现如上任意一项用于压缩语义理解模型的方法。

根据本公开的技术，提供一种用于压缩语义理解模型的方法，能够降低语义理解模型的计算量，从而降低语义理解耗时。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1是本公开的一个实施例可以应用于其中的示例性系统架构图；

图2是根据本公开的用于压缩语义理解模型的方法的一个实施例的流程图；

图3是根据本公开的用于压缩语义理解模型的方法的一个应用场景的示意图；

图4是根据本公开的用于压缩语义理解模型的方法的另一个实施例的流程图；