[发明专利]一种基于专用语料库字向量的无监督中文分词方法

说明书

本发明公开了一种基于专用语料库字向量的无监督中文分词方法，该方法包括预处理语料库，得到在语料库上的每个字对应的字向量；根据所述字向量计算出字间粘连度；计算出最佳分词路径实现无监督中文分词。对于字向量的训练，采用开源的word2vec方法，将中文语料中的每一个字对应得到一个向量，训练后，基于句子中每个字的字向量，计算每两个相邻字的字向量粘连度，在相邻字之间粘连度最小处分割，实现分词。该方法可以通过对语料进行无监督的训练进行信息提取，并利用信息直接对输入语句进行分词，便于对语料进行命名实体识别等其他任务的处理。

技术领域

本发明属计算机自然语言处理技术领域，涉及一种基于专用语料库字向量的无监督中文分词方法。

背景技术

自然语言处理问题中，最常见的一类问题是分词。分词方法根据不同的词性、停顿等条件将一个自然语句进行切分，每一个分割作为一个最小的处理单元方便进行后续自然语言的处理。根据不同的语言种类，分词方法也不相同。拉丁文语言，如英文，以若干字母的不同组合作为单词，利用空格等分隔符组成语句，其中单词为最小语言单位；而方块文字，如中文，则以众多等中文语素作为最小语言单位，以字符构成词语再进一步构成语句。因此，适用于一种语言的分词方法对于另一种语言可能并不适用。目前对于分词方法的研究中，对于中文的分词方法研究相对较少。另一方面，分词方法中，目前主流的依然是有监督分词，即通过构造常用词词典，再将语句与词典进行比对的方式来进行分词，目前利用此方法较为成功的有jieba分词，hanlp分词，pynlpir分词等。但此法面临着一些问题，例如在一些较专业的领域中，没有成熟的词典可以用来作为参照，又由于其专业性构造新的词典难度较大，导致监督分词法在专业的中文语料中效果一般，并不适用。因此需要构建一个无监督的中文分词方法来应对以上问题。

发明内容

为解决上述技术问题，本发明提出了一种基于专用语料库字向量的无监督中文分词方法，该方法可以通过对语料进行无监督的训练进行信息提取，并利用信息直接对输入语句进行分词，便于对语料进行命名实体识别等其他任务的处理。

根据本发明的一个实施例，本发明提供了一种基于专用语料库字向量的无监督中文分词方法，所述方法包括如下步骤：

步骤一、预处理语料库，得到在语料库上的每个字对应的字向量；

步骤二、根据所述字向量计算出字间粘连度；

步骤三、计算出最佳分词路径实现无监督中文分词。

优选的，所述步骤一还包括，将语料库预处理，将每个字分隔开，利用开源库gensim中的word2vec模型来进行字向量的训练，由此得到在语料库上的每个字对应的字向量。

优选的，所述根据所述字向量计算出字间粘连度包括通过一定窗范围内的多个字向量余弦距离综合计算出一个字间粘连度。

优选的，所述通过一定窗范围内的多个字向量余弦距离综合计算出一个字间粘连度，具体为，对于一个字间隔，给定窗宽度2L，则字间隔前后L个字共可求得L个字向量的余弦距离，对这L个余弦距离进行加权求和平均的操作，得到该字间隔对应的字间粘连度。

优选的，所述计算字间粘连度具体过程如下：

Q＝{q₀,q₁,…,q_n}为粘连度向量,q_i表示第i个字符和第i+1个字符之间的粘连度，q_i的具体计算方法如下：

d_i,j＝cosv_i,v_j (2)