[发明专利]基于分词的文本处理方法、装置、设备及存储介质

说明书

本发明公开了一种基于分词的文本处理方法、装置、设备及存储介质，其中，该基于分词的文本处理方法包括：获取原始文本，采用分词工具的搜索引擎分词模式对原始文本进行文本分词，获取文本分词结果，文本分词结果包括至少n个一级分词；若任意连续k个一级分词中连续k‑1个一级分词的叠加等于第k个一级分词，且连续k‑1个一级分词中存在至少两个二级分词的结合等于第k个一级分词，则仅保留至少两个二级分词，获取分词优化结果。该方法可删除重复语义或无实际意义的分词，提高分词工具的分词准确性，简化分词结果，利于后续基于正确的分词结果继续对原始文本进行语义分析。

技术领域

本发明涉及自然语言处理技术领域，尤其涉及一种基于分词的文本处理方法、装置、设备及存储介质。

背景技术

文本相似度对比可以应用于多个场景，如文书评审、智能对话等，在上述场景中都涉及将两个句子或者段落进行文本相似度对比，即将文本内容与标准内容进行对比。一般文本相似度对比方法都基于词向量，而分词是否准确也是影响最终词向量准确性的重要因素。

结巴分词是常用的分词工具，而结巴分词在搜索引擎模式下可能出现分词不准确的结果。其中，搜索引擎模式是指对分词得到的长词再次切分，并将长分词切分后的短分词放在长分词之前，比如：“您的职业规划是什么”。采用结巴分词的搜索引擎模式对该句进行分词后得到的结果为“您”，“的”，“职业”，“规划”，“职业规划”，“是”和“什么”。通过上述分词结果可看出，搜索引擎模式下进行分词造成“职业”和“规划”与“规划”之后的“职业规划”构成语义重复的三个一级分词，从而造成结巴分词结果不准确。如何提高结巴分词的分词准确性成为亟待解决的问题。

发明内容

本发明实施例提供一种基于分词的文本处理方法、装置、设备及存储介质，以解决提高结巴分词的分词准确性问题。

一种基于分词的文本处理方法，包括：

获取原始文本，采用分词工具的搜索引擎分词模式对原始文本进行文本分词，获取文本分词结果，文本分词结果包括至少n个一级分词；

若任意连续k个一级分词中连续k-1个一级分词的叠加等于第k个一级分词，且连续k-1个一级分词中存在至少两个二级分词的结合等于第k个一级分词，则仅保留至少两个二级分词，获取分词优化结果。

一种基于分词的文本处理装置，包括：

获取原始文本模块，用于获取原始文本，采用分词工具的搜索引擎分词模式对原始文本进行文本分词，获取文本分词结果，文本分词结果包括至少n个一级分词；

获取优化结果模块，用于若任意连续k个一级分词中连续k-1个一级分词的叠加等于第k个一级分词，且连续k-1个一级分词中存在至少两个二级分词的结合等于第k个一级分词，则仅保留至少两个二级分词，获取分词优化结果。

一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述基于分词的文本处理方法。

一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述基于分词的文本处理方法。

上述基于分词的文本处理方法、装置、设备及存储介质，通过分词工具的搜索引擎模式将原始文本进行分词后的结果进行再分析，当任意连续k个一级分词中连续k-1个一级分词的叠加等于所述第k个一级分词，且连续k-1个一级分词中存在至少两个二级分词的结合等于第k个一级分词时，仅仅保留至少两个二级分词，删除重复语义或无实际意义的分词，可提高分词工具的分词准确性，简化分词结果，利于后续基于正确的分词结果继续对原始文本进行语义分析。

附图说明