[发明专利]用于分词的方法和装置

说明书

本申请实施例公开了用于分词的方法和装置。该方法的一具体实施方式包括：获取预设词汇集合和待分词文本，其中，预设词汇集合为基于预设文本集合预先生成的词汇集合，预设词汇集合中的词汇包括第一信息和第二信息；基于预设词汇集合，对待分词文本进行分词，获得至少一个词汇序列；对于至少一个词汇序列中的词汇序列，确定该词汇序列中的词汇的第一信息和第二信息，以及基于所确定的第一信息和第二信息，确定该词汇序列的概率，其中，对于词汇序列中的词汇，该词汇的第二信息为基于与该词汇相邻的词汇确定出的第二信息；从至少一个词汇序列中选取概率最大的词汇序列作为分词结果。该实施方式提高了分词的准确性。

技术领域

本申请实施例涉及计算机技术领域，尤其涉及用于分词的方法和装置。

背景技术

通常，分词指的是中文分词。通过分词，可以将一个汉字序列切分成一个或多个词语。

分词是文本挖掘的基础。通过分词，可以使计算机自动识别语句含义。在这里，这种通过分词，使得计算机自动识别语句含义的方法又叫做机械分词方法，它的主要原理是按照一定的策略将待分析汉字串与预先设置的机器词典中的词条进行匹配，以确定出待分析汉字串所对应的目标词条。

发明内容

本申请实施例提出了用于分词的方法和装置。

第一方面，本申请实施例提供了一种用于分词的方法，该方法包括：获取预设词汇集合和待分词文本，其中，预设词汇集合为基于预设文本集合预先生成的词汇集合，预设词汇集合中的词汇包括第一信息和第二信息，第一信息用于表征词汇在预设文本集合中出现的概率，对于预设词汇集合中的词汇，第二信息用于表征在预设文本集合中，以除该词汇以外的词汇出现作为条件，该词汇出现的条件概率；基于预设词汇集合，对待分词文本进行分词，获得至少一个词汇序列；对于至少一个词汇序列中的词汇序列，确定该词汇序列中的词汇的第一信息和第二信息，以及基于所确定的第一信息和第二信息，确定该词汇序列的概率，其中，对于词汇序列中的词汇，该词汇的第二信息为基于与该词汇相邻的词汇确定出的第二信息；从至少一个词汇序列中选取概率最大的词汇序列作为分词结果。

在一些实施例中，基于所确定的第一信息和第二信息，确定该词汇序列的概率，包括：对该词汇序列中相邻的两个词汇进行连线，生成分词路径，其中，分词路径的节点由该词汇序列中的词汇表征，分词路径的边为用于连接词汇的线；基于该词汇序列中的词汇的第一信息和第二信息，确定分词路径的边的权重；基于所确定的权重，确定该词汇序列的概率。

在一些实施例中，对于词汇序列中的词汇，该词汇的第二信息为基于与该词汇相邻，且位于该词汇之前的词汇确定出的第二信息。

在一些实施例中，确定该词汇序列中的词汇的第二信息，包括：对于该词汇序列中的词汇，执行以下步骤：确定该词汇序列是否包括与该词汇相邻，且位于该词汇之前的词汇；响应于确定包括，基于与该词汇相邻，且位于该词汇之前的词汇，确定该词汇的第二信息。

在一些实施例中，预设词汇集合通过以下生成步骤获得：获取预设文本集合和针对预设文本集合中的预设文本预先标注的样本分词结果；将预设文本集合中的预设文本作为输入，将所输入的预设文本所对应的样本分词结果作为期望输出，利用机器学习方法，训练得到分词模型；利用分词模型对预设文本集合中的预设文本进行分词，获得第一分词结果；基于所获得的第一分词结果，生成初始词汇集合，其中，初始词汇集合中的词汇包括基于所获得的第一分词结果确定出的第一信息；基于初始词汇集合，对预设文本集合中的预设文本进行分词，获得第二分词结果；基于初始词汇集合和所获得的第二分词结果，生成预设词汇集合，其中，预设词汇集合中的词汇包括第一信息和基于所获得的第二分词结果确定出的第二信息。

在一些实施例中，训练得到分词模型，包括：对预先确定的至少两个初始模型进行训练，得到至少两个分词模型；以及利用分词模型对预设文本集合中的预设文本进行分词，获得第一分词结果，包括：利用至少两个分词模型对预设文本集合中的预设文本进行分词，获得至少两个第一分词结果。