[发明专利]一种分词方法、装置、设备及可读存储介质

权利要求书

1.一种分词方法，其特征在于，包括：

获取第一文本，第二文本以及预设的词模，其中，所述第二文本为根据所述第一文本生成的摘要文本；

分别获取所述第一文本的第一分词文本以及所述第二文本的第二分词文本；

对于所述第二分词文本中的目标词，从所述第一分词文本中获取至少一个待检测语言片段，其中，每个待检测语言片段均包括含有所述目标词的目标待检测语言片段；

将至少一个所述目标待检测语言片段和所述词模进行匹配，得到匹配结果；

根据所述匹配结果和所述目标词在所述第一分词文本中的初始的词边界分隔方式，确定所述第一分词文本的最终的词边界分隔方式。

2.根据权利要求1所述的方法，其特征在于，所述分别获取所述第一文本的第一分词文本以及所述第二文本的第二分词文本之后，所述方法还包括：

在所述第一分词文本中确定所述目标词的相关词以及所述相关词的词性；其中，所述相关词在所述第一分词文本中的出现位置与所述目标词在所述第一分词文本中的出现位置相邻。

3.根据权利要求1所述的方法，其特征在于，将至少一个所述目标待检测语言片段和所述词模进行匹配，得到匹配结果，包括：

在所述目标待检测语言片段中，将所述目标词与所述目标词的第一相邻词形成的组合，与所述词模进行匹配；

如果所述组合和所述词模中的目标基准词匹配，则将所述组合作为候选词，并得到所述候选词在所述目标待检测语言片段中的候选词边界分隔方式。

4.根据权利要求3所述的方法，其特征在于，所述根据所述匹配结果和所述目标词在所述第一分词文本中的初始的词边界分隔方式，确定所述第一分词文本的最终的词边界分隔方式，包括：

如果所述至少一个待检测语言片段中，与所述目标基准词匹配的待检测语言片段的数量小于或等于与所述目标基准词不匹配的待检测语言片段的数量，则利用所述目标词在第一分词文本中的初始的词边界分隔方式作为最终的词边界分隔方式；

如果所述至少一个待检测语言片段中，与所述目标基准词匹配的待检测语言片段的数量大于与所述目标基准词不匹配的待检测语言片段的数量，则重新确定最终的词边界分隔方式。

5.根据权利要求4所述的方法，其特征在于，对于每个用于与所述词模进行匹配的目标待检测语言片段，且需重新确定最终的词边界分隔方式的，所述重新确定最终的词边界分隔方式，包括：

获取所述目标词在所述第一分词文本中初始的目标词边界分隔方式；

根据所述初始的目标词边界分隔方式以及所述目标词在所述第一分词文本中的位置，计算第一综合混淆度；

根据所述候选词边界分隔方式以及所述候选词在所述第一分词文本中的位置，计算第二综合混淆度；

将所述第一综合混淆度和所述第二综合混淆度进行比较，得到比较结果；

根据所述比较结果，确定最终的词边界分隔方式。

6.根据权利要求5所述的方法，其特征在于，所述根据所述初始的目标词边界分隔方式以及所述目标词在所述第一分词文本中的位置，计算第一综合混淆度，包括：

将所述目标词对应的第一原始文本进行分段，得到第一子文本、第二子文本；其中，所述目标词在所述第一子文本和所述第二子文本中的位置为以下情形中的至少一种：位于所述第一子文本的结尾位置，位于所述第二子文本的开始位置，所述目标词的第二相邻词位于所述第一子文本的结尾位置，所述第二相邻词位于所述第二子文本的开始位置，所述第二相邻词为在所述第一分词文本中位于所述目标词之后的相邻词；

分别计算所述第一子文本的混淆度以及所述第二子文本的混淆度；

根据从每个目标待检测语言片段中获取的所述第一子文本的混淆度、所述第二子文本的混淆度，计算第一综合混淆度。