[发明专利]用于存储语言模型的方法、设备、介质和程序产品

权利要求书

1.一种用于存储语言模型的方法，其特征在于，包括：

获取待存储的语言模型中的待存储词表，所述待存储词表包括多个词序列以及每个所述词序列的概率信息，其中，所述词序列包括高阶词序列和低阶词序列，每个所述高阶词序列包含至少一个所述低阶词序列；

确定所述高阶词序列与所述低阶词序列的父子从属关系；

基于所述父子从属关系，确定所述待存储词表对应的树状结构，所述树状结构中的节点与所述词序列一一对应；

当所述词序列在所述树状结构中对应的节点为非叶子节点时，基于该词序列的概率信息以及该非叶子节点的子节点对应的词序列的概率信息，生成该词序列的状态信息；

确定所述词序列与所述状态信息的映射关系；

基于所述父子从属关系和所述映射关系，存储所述待存储词表和所述状态信息。

2.根据权利要求1所述的方法，其特征在于，基于该词序列的概率信息以及该非叶子节点的子节点对应的词序列的概率信息，生成该词序列的状态信息，包括：

基于所述父子从属关系，确定所述非叶子节点的子节点对应的词序列，并为每一个所述子节点对应的词序列构建一个数据对，所述数据对包括编号数据和信息数据，将所述信息数据的末位确定为叶子标识位；

若所述子节点为非叶子子节点，则将所述非叶子子节点对应的词序列的编号和指针，分别写入所述非叶子子节点对应的数据对中的编号数据和信息数据，并将该数据对的叶子标识位设置为1，所述指针用于确定所述非叶子子节点对应的词序列的状态信息的存储地址；

若所述子节点为叶子子节点，则将所述子节点对应的词序列的编号和概率信息，分别写入所述子节点对应的数据对中的编号数据和信息数据，并将该数据对的叶子标识位设置为0，其中，该子节点对应的词序列的的概率信息不包括回退概率；

将所述数据对作为数组元素，存入预设的序列容器；

基于所述非叶子节点对应的词序列的概率信息以及所述序列容器的调用指令，生成所述状态信息。

3.根据权利要求2所述的方法，其特征在于，所述指针经由如下步骤生成：

确定所述非叶子子节点对应的词序列的状态信息的存储位置相对于所述非叶子节点对应的词序列的状态信息的存储位置的地址偏移量；

将所述地址偏移量确定为所述非叶子子节点对应的词序列的指针。

4.根据权利要求2所述的方法，其特征在于，所述方法还包括：

将所述信息数据的首位确定为溢出标识位；

若所述非叶子子节点的数量小于所述信息数据的存储空间，将所述非叶子子节点的数据对的溢出标识位设置为0；

若所述非叶子子节点的数量不小于所述信息数据的存储空间，将所述非叶子子节点对应的词序列的状态信息的存储地址作为数组元素，存入预先设置的溢出数组；将所述非叶子子节点的数据对中的溢出标识位设置为1；以及，将所述非叶子子节点对应的词序列的状态信息的存储地址在所述溢出数组中的序号确定为所述非叶子子节点对应的词序列的指针。

5.根据权利要求1所述的方法，其特征在于，所述方法还包括：

若所述树状结构中的叶子节点对应的词序列为最低阶词序列，则基于所述最低阶词序列的概率信息，生成所述最低阶词序列的状态信息。

6.根据权利要求5所述的方法，其特征在于，所述方法还包括：

将所述最低阶词序列的状态信息的存储地址作为数组元素，存入预先构建的一维数组。

7.根据权利要求1至6之一所述的方法，其特征在于，存储所述状态信息，包括：

对所述非叶子节点的子节点对应的词序列的状态信息排序，并按照排序结果将所述非叶子节点的子节点对应的词序列的状态信息依次存入与所述非叶子节点对应的词序列的状态信息相邻的存储位置。