[发明专利]分词方法、装置、存储介质和电子设备

说明书

本公开涉及一种分词方法、装置、存储介质和电子设备，该方法包括：按照第一字符方向确定待分词语句中与多个预设字符串匹配的第一字符串，并按照第二字符方向确定待分词语句中与多个预设字符串匹配的第二字符串，在第一字符串和第二字符串包括相同字符的情况下，根据多个字符，通过分词模型，确定原始概率矩阵，根据第一字符串对原始概率矩阵进行调整，得到第一概率矩阵，并根据第二字符串对原始概率矩阵进行调整，得到第二概率矩阵，根据第一概率矩阵，第二概率矩阵以及分词模型对应的转移概率矩阵，确定待分词语句的目标分词结果。本公开能够避免由于第一字符串和第二字符串包括相同字符导致的分词结果出现错误，提高了分词的灵活度和准确度。

技术领域

本公开涉及自然语言处理技术领域，尤其涉及一种分词方法、装置、存储介质和电子设备。

背景技术

随着人工智能的不断发展，对语句分词的准确度的要求也越来越高。语句分词是自然语言处理(英文：Natural Language Processing，缩写：NLP)技术的重要组成部分之一。在对待分词语句进行分词的过程中，通常需要使用分词工具将待分词语句切分成一个个单独的词。然而，在需要对特定领域或者用户进行个性化分词时，分词效果较差。

相关技术中，主要是通过引入用户词典的方式，使用强制干预算法，来对分词结果进行干预，若待分词语句包含用户词典中存在的词，提高这个词在分词结果中被优先标识的概率，以提高分词效果。但是，当用户词典中的词之间存在交叠关系时，可能会导致分词结果出现错误，降低了对待分词语句进行分词的灵活度和准确度。

发明内容

为克服相关技术中存在的问题，本公开提供一种分词方法、装置、存储介质和电子设备。

根据本公开实施例的第一方面，提供一种分词方法，所述方法包括：

按照第一字符方向确定待分词语句中与多个预设字符串匹配的第一字符串，并按照第二字符方向确定待分词语句中与所述多个预设字符串匹配的第二字符串；所述第一字符方向为由所述待分词语句包括的多个字符中，首个字符指向最后一个字符的方向，所述第二字符方向与所述第一字符方向相反；

在所述第一字符串和所述第二字符串包括相同字符的情况下，根据所述多个字符，通过预先训练的分词模型，确定原始概率矩阵；所述原始概率矩阵包括所述多个字符中每个字符对应的多个预设分词标签的标签概率，所述相同字符为所述第一字符串和所述第二字符串中均包含的字符，且所述第一字符串包含的该字符和所述第二字符串包含的该字符在所述多个字符中的位置相同；

根据所述第一字符串对所述原始概率矩阵进行调整，得到第一概率矩阵，并根据所述第二字符串对所述原始概率矩阵进行调整，得到第二概率矩阵；

根据所述第一概率矩阵，所述第二概率矩阵以及所述分词模型对应的转移概率矩阵，确定所述待分词语句的目标分词结果，所述转移概率矩阵包括待转移分词标签对应字符，转移至所述多个预设分词标签中每个预设分词标签对应字符的转移概率，所述待转移分词标签为所述多个预设分词标签中的标签。

可选地，所述根据所述多个字符，通过预先训练的分词模型，确定原始概率矩阵包括：

将所述多个字符，作为所述预先训练的分词模型的输入，得到所述分词模型输出的所述多个字符中每个字符对应的多个所述预设分词标签的标签概率；

根据所述多个字符中每个字符对应的多个所述预设分词标签的标签概率，确定所述原始概率矩阵。

可选地，所述第一字符串包括多个第一字符，所述第二字符串包括多个第二字符，每个所述第一字符对应一个第一预设分词标签，每个所述第二字符对应一个第二预设分词标签；所述根据所述第一字符串对所述原始概率矩阵进行调整，得到第一概率矩阵，并根据所述第二字符串对所述原始概率矩阵进行调整，得到第二概率矩阵包括：