[发明专利]基于无向图与单层神经网络的中文分词方法

权利要求书

1.基于无向图与单层神经网络的中文分词方法，其特征在于，包括以下步骤：

步骤1、根据标注集，对给定的训练中文文本进行标注，统计其初始状态系数和状态转移系数；

步骤2、根据字典资源文件，对中文文本的每个字符依据其上下文进行特征抽取，得到文本特征；根据所有文本特征，构建特征函数集合，将文本特征转换特征向量；

步骤3、将步骤2得到的特征向量送给单层神经网络训练分类器模型进行训练，直至模型收敛；

步骤4、使用步骤3得到的单层神经网络模型，对测试数据进行分类，根据步骤1统计的初始状态系数、状态转移系数，使用维特比算法进行最优标注序列的求解；

步骤5、将步骤4得到的最优标注序列与测试原始文本结合，生成分词文本；

所述步骤2具体为：

步骤2.1、根据特征工程模板文件和字典资源文件，对每个字符依据其上下文生成特定的文本特征，统计出现的特征数目，为每个特征分配唯一序号；

步骤2.2、根据每个特征的唯一序号，将字符对应的所有特征表示成一个特征向量；

使用的特征工程模板文件如下：

1)C_n(n＝-2，-1，0，1，2)

2)C_nC_n+1(n＝-2，-1，0，1)

3)C_-1C₁

4)MWL₀，t₀

5)C_nt₀(n＝-1，0，1)

6)T(C_-1)T(C₀)T(C₁)

7)N(C_-1)N(C₀)N(C₁)

8)F(C_-1)F(C₀)F(C₁)

其中，C_n表示相对位置为n的字符；MWL₀，t₀分别表示字典资源文件中，当前字符所属最长词的长度及对应的标注；T(C_n)表示取得字符的类别号，N(C_n)表示取得字符的中国人名用字类别号，F(C_n)表示取得字符的外国人名用字类别号；

T(C_n)、N(C_n)和F(C_n)具体为：

A)T(C_n)所取得字符的类别号，分为6类，分别是：0.阿拉伯数字(ANum)、1.中文数字1(CNum1)、2.中文数字2(CNum2)、3.英文字母(EngLetter)、4.日期(Date)及5.其他(Others)；

B)N(C_n)所取得字符的中国人名用字类别号，分为6类，分表是：0.常见姓(FrequencySurname)、1.普通姓(Common Surname)、2.人名用字(Given Name)、3.both 0+2、4.both 1+2及5.其他(Others)；

C)F(C_n)所取得字符的外国人名用字类别号，分为2类，分表是：非外国人名常用字及外国人名常用字；

步骤4中采用维特比算法结合统计的初始状态系数及状态转移系数进行解码，具体为：

步骤4.1、进行单层神经网络预测，得到基于softmax归一化后的概率：

式中，P(y_t＝i|w_t)表示位置t上被标注为类别i的概率，其中L表示标注集的大小，θ_i表示类别i对应的神经网络单元权值向量，w_t为位置t上的字符x_t表示成的特征向量，所有x_t构成长度为T的中文句子s＝(x₁，x₂，…，x_T)；

步骤4.2、根据得到的概率进行维特比解码，求解出最优标注序列Y＝(y₁，y₂，…，y_T)。