[发明专利]一种文本的分词方法及分词装置

权利要求书

1.一种文本的分词方法，其特征在于，所述分词方法包括：

获取待处理的中文文本；

将所述中文文本切分成多个中文短文本；其中每个所述中文短文本包括表征一个语义的连续多个中文字符；

基于切分的多个所述中文短文本和预先训练好的中文分词模型，输出经过分词后的所述中文文本。

2.根据权利要求1所述的分词方法，其特征在于，所述将所述中文文本切分成多个中文短文本，包括：

将所述中文文本输入至预先定义的正则表达式中进行文本切分，得到多个所述中文短文本；

其中，所述正则表达式用于将所述中文文本中被非中文字符隔离且连续的多个所述中文字符作为一个整体滤出。

3.根据权利要求1所述的分词方法，其特征在于，在所述将所述中文文本切分成多个中文短文本之后，还包括：

对所述中文短文本中的每个所述中文字符进行特征提取，得到每个所述中文字符的特征向量；

所述基于切分的多个所述中文短文本和预先训练好的中文分词模型，输出经过分词后的所述中文文本，包括：

将每个所述中文短文本中每个所述中文字符的特征向量输入至所述中文分词模型中，输出经过分词后的所述中文短文本。

4.根据权利要求3所述的分词方法，其特征在于，所述对所述中文短文本中的每个所述中文字符进行特征提取，得到每个所述中文字符的特征向量，包括：

对所述中文短文本中的每个所述中文字符进行特征提取，得到所述中文字符的字符向量、位置向量和笔顺向量；

对所述中文字符的所述字符向量、所述位置向量和所述笔顺向量进行加权求和，得到所述中文字符的特征向量。

5.根据权利要求3所述的分词方法，其特征在于，所述中文分词模型包括基于转换器的双向编码器BERT和条件随机场CRF；

所述将每个所述中文短文本中每个所述中文字符的特征向量输入至所述中文分词模型中，输出经过分词后的所述中文短文本，包括：

针对每个所述中文短文本，将所述中文短文本中每个所述中文字符的特征向量输入至所述基于转换器的双向编码器BERT中，得到所述中文短文本中每个所述中文字符的全局信息向量；

将所述中文短文本中每个所述中文字符的所述全局信息向量输入至所述条件随机场CRF中，输出经过分词后的所述中文短文本。

6.根据权利要求5所述的分词方法，其特征在于，所述将所述中文短文本中每个所述中文字符的所述全局信息向量输入至所述条件随机场CRF中，输出经过分词后的所述中文短文本，包括：

将所述中文短文本中每个所述中文字符的所述全局信息向量输入至所述条件随机场CRF中，确定与所述中文短文本中每个所述中文字符分别对应的词语位置标注信息；

根据与所述中文短文本中每个所述中文字符分别对应的词语位置标注信息，输出经过分词后的所述中文短文本。

7.根据权利要求6所述的分词方法，其特征在于，所述将所述中文短文本中每个所述中文字符的所述全局信息向量输入至所述条件随机场CRF中，确定与所述中文短文本中每个所述中文字符分别对应的词语位置标注信息，包括：

将所述中文短文本中每个所述中文字符的所述全局信息向量输入至所述条件随机场CRF中，确定所述中文短文本中每个所述中文字符在预设目标位置的概率；

根据所述中文短文本中每个所述中文字符在所述预设目标位置的概率，确定与所述中文短文本中每个所述中文字符分别对应的词语位置标注信息。

8.根据权利要求7所述的分词方法，其特征在于，所述根据所述中文短文本中每个所述中文字符在所述预设目标位置的概率，确定与所述中文短文本中每个所述中文字符分别对应的词语位置标注信息，包括：

根据所述中文短文本中每个所述中文字符在所述预设目标位置的概率中的最大概率，确定与所述中文短文本中每个所述中文字符分别对应的词语位置标注信息。