[发明专利]基于词典匹配的分词方法、装置、电子设备及存储介质

权利要求书

1.一种基于词典匹配的分词方法，其特征在于，所述方法包括：

对待分词文本进行字词级别拆分，得到多条拆分词条，将各所述拆分词条存入搜索链表的对应节点中；

从前缀字典树查找与各所述节点中的拆分词条匹配的候选变形词；

判断所述搜索链表的各所述节点中是否存在第一目标节点，所述第一目标节点为候选变形词数量不为0的节点；

若存在所述第一目标节点，则将所述第一目标节点对应的候选变形词排列成子串，将所述子串存入所述第一目标节点；

根据优先指标从所述第一目标节点存储的子串中确定所述第一目标节点的第一目标分词；

根据所述第一目标分词生成分词结果。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

判断所述搜索链表的各所述节点中是否存在第二目标节点，所述第二目标节点为候选变形词数量为0的节点；

若存在所述第二目标节点，将所述第二目标节点标记为不存活状态；

将所述第一目标节点标记为存活状态。

3.根据权利要求1所述的方法，其特征在于，所述前缀字典树的获取的步骤，包括：

对词典文本进行字词级别拆分处理，得到多个词条；

以字符为节点构建包括所述多个词条的前缀字典树。

4.根据权利要求1所述的方法，其特征在于，所述将各所述拆分词条存入搜索链表的对应节点中的步骤之前，所述方法还包括：

判断所述搜索链表的表头指针是否为空；

若所述搜索链表的表头指针为空，则获取所述搜索链表的表头；

所述将各所述拆分词条存入搜索链表的对应节点中的步骤，包括：

从所述表头开始，将各所述拆分词条依次存入搜索链表的各节点中。

5.根据权利要求1所述的方法，其特征在于，所述方法还包括：

若所述搜索链表的表头指针不为空，则删除所述搜索链表的历史数据。

6.根据权利要求2所述的方法，其特征在于，所述从前缀字典树查找与各所述节点中的拆分词条匹配的候选变形词的步骤，包括：

从前缀字典树的根节点中查找与各所述节点中的拆分词条匹配的候选变形词。

7.根据权利要求6所述的方法，其特征在于，各所述节点包括状态指针位、第一状态标识位、第二状态标识位和第三状态标识位；所述方法还包括：

在所述状态指针位存储状态指针，所述状态指针用于指向各所述节点的候选变形词对应的根节点；

在所述第一状态标识位存储各所述节点的最后完整词汇；

在所述第二状态标识位存储各所述节点的词汇变形序列参数；

在所述第三状态标识位存储各所述节点的存活状态或者不存活状态。

8.一种基于词典匹配的分词装置，其特征在于，所述装置包括：

拆分模块，用于对待分词文本进行字词级别拆分，得到多条拆分词条，将各所述拆分词条存入搜索链表的对应节点中；

查找模块，用于从前缀字典树查找与各所述节点中的拆分词条匹配的候选变形词；

判断模块，用于判断所述搜索链表的各所述节点中是否存在第一目标节点，所述第一目标节点为候选变形词数量不为0的节点；

处理模块，用于若存在所述第一目标节点，则将所述第一目标节点对应的候选变形词排列成子串，将所述子串存入所述第一目标节点；

确定模块，用于根据优先指标从所述第一目标节点存储的子串中确定所述第一目标节点的第一目标分词；

生成模块，用于根据所述第一目标分词生成分词结果。

9.一种电子设备，其特征在于，包括存储器以及处理器，所述存储器存储有计算机程序，所述计算机程序在所述处理器运行时执行权利要求1至7中任一项所述的基于词典匹配的分词方法。

10.一种计算机可读存储介质，其特征在于，其存储有计算机程序，所述计算机程序在处理器上运行时执行权利要求1至7中任一项所述的基于词典匹配的分词方法。