[发明专利]一种基于多模型组合神经网络的老挝语分词方法

权利要求书

1.一种基于多模型组合神经网络的老挝语分词方法，其特征在于：包括如下步骤：

Step1、将老挝语分词语料预处理后进行数据集划分，随机抽取90％作为训练集，10％数据作为测试集；

Step2、将待分词的老挝语料上进行文本向量化，将文本中的每一个字映射成一个固定长度的短向量，以作为当前字的特征向量表示；

Step3、引入去噪机制对输入的字嵌入量进行过滤调整；

Step4、Bi-LSTM模型对过滤后的字向量片段进行编码并输出具有上下文语义特征的老挝语音节序列；根据老挝语音节拼写规则将音节序列表示成特征词向量；

Step5、引入attention模型对Bi-LSTM网络的输入输出之间的相关性进行重要度计算，获取有效的老挝语词向量特征；

Step6、将词向量特征输入CRF层，经过softmax变换，加入标签转移概率矩阵，选择词性概率分布中概率最大的标签序列作为输出，生成音节的标注标签序列，最后使用4词位标注集得到老挝语句子预测分词结果。

2.根据权利要求1所述的基于多模型组合神经网络的老挝语分词方法，其特征在于：所述步骤Step2中字向量训练是将字符向量化，向量之间的映射关系反映出字符间的语义相关性，选择字符向量维度为128维，由Word2Vec生成字嵌入向量，对字嵌入向量使用Dropout方法。

3.根据权利要求1所述的基于多模型组合神经网络的老挝语分词方法，其特征在于：所述步骤Step3中去噪机制实际为一个神经网络层，通过函数k_t＝f_t⊙x_t对字嵌入量进行筛选，得到字向量输出k_t，其中⊙表示逐点乘积操作，f_t定义为f_t＝f(w_fx_t+b_f)，f函数为f(x)＝|sinx|，w_f表示当前层的权值矩阵，b_f表示偏置向量,Step2中的x_t作为函数的向量参数，利用固定上下文窗口内的字表示当前字，对固定窗口内的信息进行调整，使得固定窗口内的字嵌入以一定概率出现，减少无效信息向量的出现。

4.根据权利要求1所述的基于多模型组合神经网络的老挝语分词方法，其特征在于：所述步骤Step4中Bi-LSTM是递归神经网络，通过LSTM网络前向和后向进行传播，将输入序列中每一个点的完整的过去和未来的上下文信息提供给输出层。

5.根据权利要求1所述的基于多模型组合神经网络的老挝语分词方法，其特征在于：所述步骤Step4中老挝语音节拼写规则是由辅音加声调、辅音与元音相拼、辅音与元音相拼加声调、辅音与元音相拼加死闭音节、辅音与元音相拼加活闭音节以及辅音与元音相拼加活闭音节及加声调的拼写规则构成，通过与老挝语音节拼写规则表比对，将音节序列组成一个一个的特征词向量。

6.根据权利要求1所述的基于多模型组合神经网络的老挝语分词方法，其特征在于：所述步骤Step5中由所述步骤4中Bi-LSTM的输入字嵌入量与输出特征词向量来作为attention层的输入，首先用矩阵T来计算当前老挝词与输入文本中所有老挝词的相似性，然后根据重要度对每个向量赋予不同权重，其中重要度是指注意力权重系数a_ij，矩阵T的第i行第j列，最后输出权重语义向量。

7.根据权利要求1所述的基于多模型组合神经网络的老挝语分词方法，其特征在于：所述步骤Step6中利用CRF模型对应窗口序列内的每个音节，分别输出4类标签概率，并用转移概率矩阵A_ij表示各音节标签概率间互相转化的概率，使用softmax函数来对标签概率的得分进行计算，针对每个音节的标签值，利用4词位标注集即{BMES}标注集，分别表示其在老挝词中的开始位置、中间位置、结束位置，单个音节则为一个独立词。