[发明专利]基于分词的文本处理方法、装置、设备及存储介质

权利要求书

1.一种基于分词的文本处理方法，其特征在于，包括：

获取原始文本，采用分词工具的搜索引擎分词模式对所述原始文本进行文本分词，获取文本分词结果，所述文本分词结果包括至少n个一级分词；

若任意连续k个所述一级分词中连续k-1个所述一级分词的叠加等于所述第k个一级分词，且连续k-1个所述一级分词中存在至少两个二级分词的结合等于第k个一级分词，则仅保留至少两个所述二级分词，获取分词优化结果。

2.如权利要求1所述的基于分词的文本处理方法，其特征在于，在所述获取文本分词结果之后，所述基于分词的文本处理方法还包括：

若任意连续k个所述一级分词中连续k-1个所述一级分词的叠加等于所述第k个一级分词，且任意连续k个所述一级分词中不存在至少两个二级分词的结合等于第k个一级分词，则保留所述第k个一级分词并删除所述前k-1个所述一级分词，获取分词优化结果。

3.如权利要求1所述的基于分词的文本处理方法，其特征在于，在所述获取文本分词结果之后，所述基于分词的文本处理方法还包括：

若任意连续k个所述一级分词中连续k-1个一级分词的结合等于所述第k个一级分词，则保留前k-1个所述一级分词并删除所述第k个一级分词，获取分词优化结果。

4.如权利要求1至3中任一项所述的基于分词的文本处理方法，其特征在于，在所述获取分词优化结果之后，所述基于分词的文本处理方法还包括：

获取所述原始文本对应的标准文本，采用文本对比工具对比所述标准文本和所述分词优化结果，获取文本相似度；

若所述文本相似度超过相似度阈值，则所述原始文本和所述标准文本为相同文本。

5.如权利要求1至3中任一项所述的基于分词的文本处理方法，其特征在于，在所述输出分词优化结果之后，所述基于分词的文本处理方法还包括：

采用意图识别模型对所述分词优化结果进行识别，获取所述原始文本对应的目标意图，所述目标意图包括至少一个目标参数和参数优先级顺序；

基于每一所述目标参数查询检索文本数据库，获取与每一所述目标参数相对应的检索文本；

依据所述参数优先级顺序向客户端输出至少一个所述检索文本。

6.如权利要求5所述的基于分词的文本处理方法，其特征在于，在所述采用意图识别模型对所述分词优化结果进行识别之前，所述基于分词的文本处理方法还包括：

对所述分词优化结果进行文本清洗，其中，所述文本清洗包括去标点符号、去停用词、简称替换、英文和数字大小写转换中的至少一种。

7.一种基于分词的文本处理装置，其特征在于，所述文本处理装置包括：

获取原始文本模块，用于获取原始文本，采用分词工具的搜索引擎分词模式对所述原始文本进行文本分词，获取文本分词结果，所述文本分词结果包括至少n个一级分词；

获取优化结果模块，用于若任意连续k个所述一级分词中连续k-1个所述一级分词的叠加等于所述第k个一级分词，且连续k-1个所述一级分词中存在至少两个二级分词的结合等于第k个一级分词，则仅保留至少两个所述二级分词，获取分词优化结果。

8.如权利要求7所述的基于分词的文本处理装置，其特征在于，所述文本处理装置还包括：

获取分词结果模块，用于若任意连续k个所述一级分词中连续k-1个所述一级分词的叠加等于所述第k个一级分词，且任意连续k个所述一级分词中不存在至少两个二级分词的结合等于第k个一级分词，则保留所述第k个一级分词并删除所述前k-1个所述一级分词，获取分词优化结果。

9.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至6任一项所述基于分词的文本处理方法。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述基于分词的文本处理方法。