[发明专利]一种分词方法、装置、设备及可读存储介质

说明书

本发明公开了一种分词方法、装置、设备及可读存储介质，涉及自然语言处理技术领域，以提高分词的合理性。该方法包括：获取第一文本，第二文本以及预设的词模；分别获取第一文本的第一分词文本以及第二文本的第二分词文本；对于第二分词文本中的目标词，从第一分词文本中获取至少一个待检测语言片段，其中，每个待检测语言片段均包括含有所述目标词的目标待检测语言片段；将至少一个所述目标待检测语言片段和所述词模进行匹配，得到匹配结果，根据所述匹配结果和所述目标词在所述第一分词文本中的初始的词边界分隔方式，确定所述第一分词文本的最终的词边界分隔方式。本发明实施例可提高分词的合理性。

技术领域

本发明涉及自然语言处理技术领域，尤其涉及一种分词方法、装置、设备及可读存储介质。

背景技术

未登录词的识别与歧义消解是中文分词的两个难题。分词结果的准确性，通常会在NLP(Nature Language Processing，自然语言处理)的下游任务中得以检验。不同任务对于分词结果的严苛程度不同，面临的分词难题也各异。因此，在不同的下游任务中，需要有针对性地解决中文分词难题。

其中，未登录词，也称新词，即没有被收录在分词词表中但必须切分出来的词，包括各类专有名词(人名、地名、企业名等)、缩写词、新增词汇等。

摘要文本作为一种较为常见的NLP下游任务，旨在将海量且动态更新的信息精炼化，其可能包括大量未登录词，且未登录词作为关键性词语出现在摘要文本中的概率也极高。

目前摘要文本的生成都是基于已有的分词技术，包括基于词典/检索/统计的方法进行文本分词后生成的。但是，现有的分词方法大多受到种子词典的收录范围、统计语料库的覆盖面的限制，从而导致了现有的分词方法的分词不合理。

发明内容

本发明实施例提供一种分词方法、装置、设备及可读存储介质，以提高分词的合理性。

第一方面，本发明实施例提供了一种分词方法，包括：

获取第一文本，第二文本以及预设的词模，其中，所述第二文本为根据所述第一文本生成的摘要文本；

分别获取所述第一文本的第一分词文本以及所述第二文本的第二分词文本；

对于所述第二分词文本中的目标词，从所述第一分词文本中获取至少一个待检测语言片段，其中，每个待检测语言片段均包括含有所述目标词的目标待检测语言片段；

将至少一个所述目标待检测语言片段和所述词模进行匹配，得到匹配结果；

根据所述匹配结果和所述目标词在所述第一分词文本中的初始的词边界分隔方式，确定所述第一分词文本的最终的词边界分隔方式。

第二方面，本发明实施例还提供一种分词装置，包括：

第一获取模块，用于获取第一文本，第二文本以及预设的词模，其中，所述第二文本为根据所述第一文本生成的摘要文本；

第二获取模块，用于分别获取所述第一文本的第一分词文本以及所述第二文本的第二分词文本；

第三获取模块，用于对于所述第二分词文本中的目标词，从所述第一分词文本中获取至少一个待检测语言片段，其中，每个待检测语言片段均包括含有所述目标词的目标待检测语言片段；

第一匹配模块，用于对于所述至少一个待检测语言片段中的目标待检测语言片段，将所述目标待检测语言片段和所述词模进行匹配，得到匹配结果；

第一确定模块，用于根据所述至少一个待检测语言片段中的匹配结果和所述目标词在所述第一分词文本中的初始的词边界分隔方式，确定所述第一分词文本的最终的词边界分隔方式。