[发明专利]中文分词方法及装置

说明书

技术领域

本发明涉及中文信息处理领域，尤其涉及中文信息处理领域使用的一种中文分词方法及装置。

背景技术

对于中文，最小的、能够独立活动的、有意义的语言成分是词，词由单个或多个字构成，一般用得最多的是二字词，其次，是单字词，另外还有一些多字词(如成语、专有名词等)。但是中文以字为基本的书写单位，词与词之间没有类似英文空格之类用于标识词边界的符号，因此，对中文文本中的每个句子进行分词，也就是由机器自动识别句子中词的边界，是中文文本分析处理中首先要解决的问题。

目前，常用的分词方法包括：全切分分词方法，最大匹配分词法，最短路径分词法等。其中，最短路径分词法的基本思想是：根据词典，找出句子中所有可能的词，构造这些词的有向无环图，每个词对应图中的一条有向边，并给这些有向边赋相应的边长(亦称为权值)，此时，分词问题转换为求解从起点到终点最短路径的问题。

如果可以从图中的起点到达终点，则称这两个点之间存在一条路径。通常情况下，从起点到终点可能存在多条路径，而每条路径上经过的边数并不一定相同，因此，路径长度等于路径上各边的权值的总和，起点与终点间路径长度最短的那条路径称为最短路径，其路径长度称为最短路径长度。对于求解最短路径问题，可以采用现有的用于求解最短路径问题的算法，比如，Dijkstra算法。

在求解出最短路径后，该路径经过的边所对应的词便是此次分词的结果。值得注意的，最短路径分词法中求解出的最短路径可能有多条。

以上简要叙述了最短路径分词法的基本原理，以下举例说明最短路径分词法。

假设句子S＝C1 C2 Ci Cn，其中，Ci(i＝1，2，，n)为单个的字，n为句子S的长度，n≥1。建立一个节点数为n+1的有向无环图，如图1所示，各节点编号依次为V0，V1，V2，，Vn。

通过以下两种方法建立有向无环图所有可能的有向边：

(1)相邻节点V_k-1，V_k之间建立有向边<V_k-1，V_k>，边的权值为L_k，边对应的词默认为C_k(k＝1，2，，n)；

(2)若w＝Ci Ci+1 Cj是词典中的一个词，其中，0＜i＜j≤n，则需要在节点V_i-1，V_j之间建立有向边<V_i-1，V_j>，边的权值为L_w，边对应的词为w，这样，S中包含的所有词与有向无环图中的边一一对应。根据有向无环图中标示的边的权值，调用用于求解最短路径问题的算法，计算从图中的起点V₀到终点V_n的最短路径，得到S的分词结果。

如果S具体为“他说的确实在理”，根据词典，找出该句子所有可能的词为：他、说、的、的确、确实、实在、在理、理，由这些词构成的有向无环图如图2所示，为便于计算，假设这些词对应边的权值均为1，那么，从起点0到终点7有如下几条路径：

路径1：经过节点0，1，2，3，4，5，6，7，该路径包括7条有向边，路径的长度为7；

路径2：经过节点0，1，2，4，5，6，7，该路径包括6条有向边，路径长度为6；

路径3：经过节点0，1，2，4，6，7，该路径包括5条有向边，路径长度为5；

路径4：经过节点0，1，2，3，5，6，7，该路径包括6条有向边，路径长度为6；

路径5：经过节点0，1，2，3，5，7，该路径包括5条有向边，路径长度为5；

比较上述路径长度可知，路径3与路径5的长度最短，因此，该句子的分词结果为：他、说、的确、实在、理，或者，他、说，的，确实，在理。

由上述分析可知，由于现有的最短路径分词法需要将根据词典得到的原始分词集合转换为有向无环图的形式，并且需要调用求解最短路径的算法，使得分词处理过程比较复杂，不便于实现。

发明内容

本发明要解决的技术问题是提供一种简单的中文分词方法。

为解决上述技术问题，本发明的目的是通过以下技术方案实现的：

一种中文分词方法，包括：

为分词集合中的分词赋权值，所述分词集合中的分词按照分词在句子中的位置排序；