[发明专利]基于词典匹配的分词方法、装置、电子设备及存储介质

说明书

本申请实施例提供了一种基于词典匹配的分词方法、装置、电子设备及存储介质，其中方法包括：对待分词文本进行字词级别拆分，得到多条拆分词条，将各拆分词条存入搜索链表的对应节点中；从前缀字典树查找与各节点中的拆分词条匹配的候选变形词；判断搜索链表的各节点中是否存在第一目标节点；若存在第一目标节点，则将第一目标节点对应的候选变形词排列成子串，将子串存入第一目标节点；根据优先指标从第一目标节点存储的子串中确定第一目标节点的第一目标分词；根据第一目标节点的第一目标分词生成分词结果。这样，结合搜索链表与TrieTree两种数据结构，降低分词算法所需的时空复杂度，提高分词的准确度。

技术领域

本申请涉及自然语音处理技术领域，尤其涉及一种基于词典匹配的分词方法、装置、电子设备及存储介质。

背景技术

现有自然语音处理技术中，分词是语言处理的第一道工序，分词方案可以分为基于词典匹配、基于概率统计、基于深度学习的三种分词方案。基于概率统计的分词方案与基于深度学习的分词方案，均需要大量的分词标注数据作为支撑，这两种方案内存占用较大，故在需要对单个词汇进行解释、没有大量标注数据、硬件资源有限的场合下，基于词典匹配的分词方案有较大的使用空间。在词典匹配中，由于部分语言存在单个词多种形态的情况，例如，中文中的“的、地、得”变化，英文的时态变化等。这种情况下，如果按照录入词条处理会极大增加词条数量，进而影响算法效率，故词典中往往只有单个形态的词条；而尝试分词过程中进行词形处理时，在部分词形变化规则、分词规则优先级的情况下分词的时间复杂度超过线性级，同样会导致算法效率下降。

发明内容

为了解决上述技术问题，本申请实施例提供了一种基于词典匹配的分词方法、装置、电子设备及存储介质。

第一方面，本申请实施例提供了一种基于词典匹配的分词方法，所述方法包括：

对待分词文本进行字词级别拆分，得到多条拆分词条，将各所述拆分词条存入搜索链表的对应节点中；

从前缀字典树查找与各所述节点中的拆分词条匹配的候选变形词；

判断所述搜索链表的各所述节点中是否存在第一目标节点，所述第一目标节点为候选变形词数量不为0的节点；

若存在所述第一目标节点，则将所述第一目标节点对应的候选变形词排列成子串，将所述子串存入所述第一目标节点；

根据优先指标从所述第一目标节点存储的子串中确定所述第一目标节点的第一目标分词；

根据所述第一目标分词生成分词结果。

在一实施方式中，所述方法还包括：

判断所述搜索链表的各所述节点中是否存在第二目标节点，所述第二目标节点为候选变形词数量为0的节点；

若存在所述第二目标节点，将所述第二目标节点标记为不存活状态；

将所述第一目标节点标记为存活状态。

在一实施方式中，所述前缀字典树的获取的步骤，包括：

对词典文本进行字词级别拆分处理，得到多个词条；

以字符为节点构建包括所述多个词条的前缀字典树。

在一实施方式中，所述将各所述拆分词条存入搜索链表的对应节点中的步骤之前，所述方法还包括：

判断所述搜索链表的表头指针是否为空；

若所述搜索链表的表头指针为空，则获取所述搜索链表的表头；

所述将各所述拆分词条存入搜索链表的对应节点中的步骤，包括：

从所述表头开始，将各所述拆分词条依次存入搜索链表的各节点中。