[发明专利]一种对文本序列进行分词的方法、装置和电子设备

说明书

本发明公开了一种文本的分词方法、装置和电子设备，所述方法包括：确定与所述文本序列对应的概率矩阵，所述概率矩阵记录有所述文本序列中的每个字符与预设的每个标注字符相匹配的概率值，所述标注字符用于对所述文本序列进行分词；确定与所述概率矩阵对应的转移矩阵，所述转移矩阵记录了所述每个标注字符之间的转移概率；根据所述概率矩阵和转移矩阵，对所述文本序列进行分词。本发明可以避免在中文分词过程中，存在分词特征抽取受限以及领域适应性较差的问题。

技术领域

本发明涉及人工智能领域，尤其涉及一种对文本序列进行分词的方法、装置和电子设备。

背景技术

中文分词在自然语言处理中占据重要地位，是实体识别、文本分类、文本聚类、关键词提取、机器翻译、智能问答等自然语言任务处理的重要环节。但是，与英文中词与词之间仅有分隔符相比，由于中文语言的复杂性，造成了中文分词面临各种困难。

目前中文分词的方法常用的有基于规则的方法和基于传统机器学习的方法。基于规则的方法采用的是最大正/反向匹配，以及双向匹配的方法，构建基于句法-语义规则的分析系统，同时结合语法规则词典，达到分词的效果。但是由于中文句法的领域相关性，造成基于规则的方法面临不同领域语言出现适应性较差的问题。

基于传统机器学习的方法，大多采用CRF、HMM等方法进行分词。其中采用最多的是CRF，其主要思路是对汉字进行标注的训练，考虑词语之间的序列以及上下文的关系。但是这种方法受限于分词语料特征的选择和抽取。

发明内容

本发明实施例的目的是提供一种对文本序列进行分词的方法、装置和电子设备，以解决现有技术在中文分词过程中，存在分词特征抽取受限以及领域适应性较差的问题。

第一方面，提供了一种对文本序列进行分词的方法，该方法包括：

确定与所述文本序列对应的概率矩阵，所述概率矩阵记录有所述文本序列中的每个字符与预设的每个标注字符相匹配的概率值，所述标注字符用于对所述文本序列进行分词；

确定与所述概率矩阵对应的转移矩阵，所述转移矩阵记录了所述每个标注字符之间的转移概率；

根据所述概率矩阵和转移矩阵，对所述文本序列进行分词。

第二方面，提供了一种对文本序列进行分词的装置，所述装置包括：

概率矩阵确定模块，用于确定与所述文本序列对应的概率矩阵，所述概率矩阵记录有所述文本序列中的每个字符与预设的每个标注字符相匹配的概率值，所述标注字符用于对所述文本序列进行分词；

转移矩阵确定模块，用于确定与所述概率矩阵对应的转移矩阵，所述转移矩阵记录了所述每个标注字符之间的转移概率；

分词模块，用于根据所述概率矩阵和转移矩阵，对所述文本序列进行分词。

第三方面，提供了一种电子设备，包括：

处理器；

用于存储处理器可执行指令的存储器；

所述处理器被配置为：

确定与所述文本序列对应的概率矩阵，所述概率矩阵记录有所述文本序列中的每个字符与预设的每个标注字符相匹配的概率值，所述标注字符用于对所述文本序列进行分词；

确定与所述概率矩阵对应的转移矩阵，所述转移矩阵记录了所述每个标注字符之间的转移概率；

根据所述概率矩阵和转移矩阵，对所述文本序列进行分词。