[发明专利]一种基于BPE的子词分割方法、系统及可读存储介质

说明书

本发明涉及自然语言处理领域，特别涉及一种基于BPE的子词分割方法、系统及可读存储介质，包括以下步骤：基于节点的数量将预设语料分割为多个节点语料并一一对应分发给多个节点；每个节点获取节点语料中的多个句子，对多个句子进行分割得到多个子词及多个子词构成的子词表；将多个子词中出现频次符合第一预设阈值的子词进行合并得到多个merge；将merge中出现频次符合第二预设阈值的merge加入子词表作为子词的更新，得到每个节点的局部merge表，将局部merge表作为每个节点的全局merge表；每个节点从其他节点获取频次较高的预设数量的merge，并将获取到的所有其他节点的预设数量的merge加入到各自的全局merge表中对子词进行更新，解决了大型规模下子词分割效率较低的问题。

技术领域

本发明涉及自然语言处理技术领域，特别涉及一种基于BPE的子词分割方法、系统及计算机可读存储介质。

背景技术

子词分割是自然语言处理的一项重要技术，自从著名的BPE算法提出以来，大多数自然语言处理的模型所使用的词表都是由子词分割技术提取的。近年来，不少子词分割的工具包，例如sentencepiece , tokenizers 被提出用于高效地实现BPE等子词分割算法。这些工具在处理中等规模语料的时候效率很高，huggingface 提出的tokenizers工具包可以在一分钟内处理GB级别的语料。近年来，预训练模型的规模持续增长，更大的模型需要更多的数据去训练。对大规模的语料进行子词分割，是预训练模型训练前的必要步骤。

然而现有技术中，BPE等子词分割算法消耗的内存和语料规模是正相关的。语料规模越大，BPE算法消耗的内存也越多。在超大规模上的语料上使用子词分割技术，往往需要超大的物理内存(TB级别)，但这是一般的服务器不具备的。此外，子词分割所消耗的时间也和语料规模正相关。因此，对于大规模语料来说，子词分割的开销很大，甚至没有大的物理内存就无法完成，存在大型规模语料下子词分割效率较低的问题。

发明内容

为解决现有大型规模语料下子词分割效率较低的问题，本发明提供了一种基于BPE的子词分割方法、系统及计算机可读存储介质。

本发明解决技术问题的方案是提供一种基于BPE的子词分割方法，包括以下步骤：

步骤A：基于节点的数量将预设语料分割为多个节点语料并一一对应分发给多个节点；

步骤B：每个节点获取节点语料中的多个句子，对多个句子进行分割得到多个子词及多个子词构成的子词表；

步骤C：将多个子词中出现频次符合第一预设阈值的子词进行合并得到多个merge；将merge中出现频次符合第二预设阈值的merge加入子词表作为子词的更新，得到每个节点的局部merge表，将局部merge表作为每个节点的全局merge表；

步骤D：每个节点从其他节点获取频次较高的预设数量的merge，并将获取到的所有其他节点的预设数量的merge加入到各自的全局merge表中对子词进行更新；判断更新后的全局merge表是否满足预设条件，若是，则得到更新好的全局merge表，若否，返回执行步骤C；

其中，步骤C具体包括以下步骤：将多个子词中出现频次符合第一预设阈值的子词进行合并得到多个merge；统计每个merge出现的频次并以从高到低进行排序；获取排序后的结果，并将其中merge出现频次最高的加入子词表作为子词的更新，得到每个节点的局部merge表，将局部merge作为每个节点的全局merge表；

步骤D具体包括以下步骤：每个节点从其他节点获取频次较高的第一预设数量的merge；统计所有节点中每个merge出现的频次并从高到低进行排序；获取排序后的结果中第二预设数量的merge通过预设方法加入到各自的全局merge表中对子词进行更新，判断更新后的全局merge表是否满足预设条件；若是，得到更新好的全局merge表，若否，则返回执行步骤C；所述预设方法为TopK算法或分布式数据库中的一种；