[发明专利]一种基于孪生循环神经网络的泰文句子切分方法

说明书

本发明公开了一种基于孪生循环神经网络的泰文句子切分方法，属于句子切分领域。本发明方法不需要人工设计特征，也不依赖词性标注和句法信息。与已有方法相比，本发明所提出的方法更加简洁，句子切分效果也有了提升；本发明方法对空格前后的词序列进行编码获取句子切分的特征时，空格前和空格后的词序列使用相同的模型框架，并且共享了相同的参数，这样更好的考虑了空格前后词序列之间的可比性，同时缩减了参数，更有利于模型的训练；通过词嵌入和循环神经网络学习词序的特征表示有助于捕获句子中的隐含语义，从而提升句子切分的性能。

技术领域

本发明涉及一种基于孪生循环神经网络的泰文句子切分方法，属于句子切分领域。

背景技术

泰文很少使用标点符号，句子间没有明显的分隔符，为泰文词法分析、句法分析、机器翻译等自然语言处理任务带来了额外的困难。

泰文也有标点符号，在Unicode甚至提供了特殊的零宽度空格符(Zero-WidthSpace,ZWSP)用于分隔泰文词。然而，与英语不同的是，在实际应用中泰文很少使用标点符号，词语间通常也不用分隔符，而是用空格符分隔句子、短语和特殊词语，如称谓和姓名之间、标号和内容之间、括号和内容之间等。所以，泰文句子切分不能依靠标点符号，而必须充分考虑段落的上下文信息。

发明内容

本发明提供了一种基于孪生循环神经网络的泰文句子切分方法，以用于构建最优孪生循环神经网络模型用于泰文句子切分。

本发明的技术方案是：一种基于孪生循环神经网络的泰文句子切分方法，所述方法的具体步骤如下：

Step1、将语料中以空格前后的词序列作为孪生循环神经网络模型输入层的输入，分别得到空格前后的词序列所对应的one-hot矩阵表示X；其中，孪生循环神经网络模型表示两个循环神经网络模型，X＝[x₁,x₂,...,x_t,…,x_T]，每个词对应的one-hot向量表示x_t的维数为N_w维，T表示词序列中词的数量，N_w为词汇表的大小，即从语料中统计并去重后的词语数量；

Step2、将step1分别得到的空格前后的词序列所对应的one-hot矩阵表示X通过孪生循环神经网络模型中的嵌入层参数矩阵分别得到空格前后的词序列对应的词嵌入矩阵表示E；其中，E＝W_EX＝[e₁,e₂,...,e_t,…,e_T]，e_t∈R^d，e_d表示第t个词所对应的词嵌入表示，和R^d中的R表示实数域，d表示词序列中每个词所对应的词嵌入表示的维数；

Step3、采用孪生循环神经网络模型中的循环网络层对step2分别得到的空格前后词序列中每个词所对应的词嵌入表示e_t进行编码，分别得到空格前后的词序列编码表示h^l和h^r；其中，h^l表示空格前的词序列所对应的编码表示，h^r表示空格后词序列所对应的编码表示；

Step4、将step3分别得到的空格前后词序列编码表示h^l和h^r通过孪生循环神经网络模型的隐含层综合学习，得到最终的编码向量表示h作为句子切分的特征；

Step5、在孪生循环神经网络模型的输出层采用sigmoid对step4得到的句子切分特征h进行二分类操作：

y＝sigmoid(W₂h+b₂)

其中，y表示模型分类结果，W₂是输出层的权重矩阵，b₂是偏置矩阵；