[发明专利]用于存储语言模型的方法、设备、介质和程序产品

说明书

本公开实施例公开了一种用于存储语言模型的方法、设备、介质和程序产品，方法包括：获取待存储词表，待存储词表包括多个词序列以及每个词序列的概率信息，词序列包括高阶词序列和低阶词序列，每个高阶词序列包含至少一个低阶词序列；确定高阶词序列与低阶词序列的父子从属关系；基于父子从属关系，确定待存储词表对应的树状结构，树状结构中的节点与词序列一一对应；当词序列在树状结构中对应的节点为非叶子节点时，基于该词序列的概率信息以及该非叶子节点的子节点对应的词序列的概率信息，生成该词序列的状态信息；确定词序列与状态信息的映射关系；基于父子从属关系和映射关系，存储待存储词表和状态信息。

技术领域

本公开涉及一种用于存储语言模型的方法、电子设备、存储介质和计算机程序产品。

背景技术

在自然语言领域，语言模型是语音识别系统的重要组成部分，直接影响着语音识别系统的准确率。一般而言，语言模型越大，语音识别的准确率越高，但同时占用的内存空间也越大，这就导致较大的语言模型在实际应用中存在许多限制。例如，在语音识别系统中，构建解码图是一个需要占用较大内存空间的步骤，构建解码图的内存占用量与语言模型的大小成正比，其内存占用量的峰值可达语言模型本身大小的几百倍，就这导致直接使用语言模型构建解码图时往往会因内存不足失败。

相关技术中，为了避免上述现象，通常采用二遍解码的方法来使用大语言模型。具体而言：首先通过小语言模型来构建解码图，并基于此解码图进行一遍解码。然后再通过大语言模型，对一遍解码所得的解码网格重新进行打分，即二遍解码。这样就只需要把大语言模型读取到内存中，而避免了直接使用大语言模型构建解码图。

发明内容

本公开实施例提供一种用于存储语言模型的方法、电子设备、存储介质和计算机程序产品，以缩减语音识别二编解码中的语言模型在内存中的占用空间。

本公开实施例的一个方面，提供一种方法，包括：获取待存储词表，待存储词表包括多个词序列以及每个词序列的概率信息，其中，词序列包括高阶词序列和低阶词序列，每个高阶词序列包含至少一个低阶词序列；确定高阶词序列与低阶词序列的父子从属关系；基于父子从属关系，确定待存储词表对应的树状结构，树状结构中的节点与词序列一一对应；当词序列在树状结构中对应的节点为非叶子节点时，基于该词序列的概率信息以及该非叶子节点的子节点对应的词序列的概率信息，生成该词序列的状态信息；确定词序列与状态信息的映射关系；基于父子从属关系和映射关系，存储待存储词表和状态信息。

在一些实施例中，基于该词序列的概率信息以及该非叶子节点的子节点对应的词序列的概率信息，生成该词序列的状态信息，包括：基于父子从属关系，确定非叶子节点的子节点对应的词序列，并为每一个子节点对应的词序列构建一个数据对，数据对包括编号数据和信息数据，并将信息数据的末位确定为叶子标识位；若子节点为非叶子子节点，则将非叶子子节点对应的词序列的编号和指针，分别写入非叶子子节点对应的数据对中的编号数据和信息数据，并将该数据对的叶子标识位设置为1，指针用于确定非叶子子节点对应的词序列的状态信息的存储地址；若子节点为叶子子节点，则将子节点对应的词序列的编号和概率信息，分别写入子节点对应的数据对中的编号数据和信息数据，并将该数据对的叶子标识位设置为0，其中，该叶子子节点的概率信息不包括回退概率；将数据对作为数组元素，存入预设的序列容器；基于非叶子节点对应的词序列的概率信息以及序列容器的调用指令，生成状态信息。

在一些实施例中，指针经由如下步骤生成：确定非叶子子节点对应的词序列的状态信息的存储位置相对于非叶子节点对应的词序列的状态信息的存储位置的地址偏移量；将地址偏移量确定为非叶子子节点对应的词序列的指针。