[发明专利]一种引入分层形声特征的中文词向量表示学习方法

摘要

本发明公开了一种基于分层形声特征增强的中文词向量表示技术。采用分层形声特征增强的中文词向量表示方法，可以较大地提升中文词向量的效果。本发明包括如下步骤：1)首先运用爬虫工具抓取中文词语的相关形态和发音信息；2)通过对形态和发音信息的分层组合，构成形态特征和声音特征，构建词语的特征表示；3)通过注意力机制对输入部分的形声特征进行权重调节；4)采用解耦预测和混合预测联合的训练方式来训练词向量的表示。和现有技术相比，本发明结合了中文词语多层次的形态和发音信息，并采用解耦预测和混合预测联合的方式，系统地进行词向量的训练，形成独具一格的中文词向量表示技术，创造性地提升了中文词向量的效果。

主权项

1.一种引入分层形声特征的中文词向量表示学习方法，其特征在于，步骤如下：1)获取中文词语形声特征的语料基础，所述的语料基础包括汉字简体、汉字繁体、词语拼音、汉字拼音、部首、笔画、五笔输入法、仓颉标识、Unicode、规范汉字编号；2)对于给定的中文文本进行预处理，形成训练语料；然后针对训练语料构建模型输入，构建过程如下：2.1)对训练语料从形态和发音两个维度，以及从词语、汉字和子字三个层级构建中文词语分层形声特征；在词级别上，用词语本身和词语拼音代表词语层级上的特征；在字级别上，用汉字的字形和汉字拼音代表汉字层级上的特征；在子字级别上，用汉字部件和汉字拼音的声母和韵母来代表子字层级上的特征；2.2)抽取训练语料中的命名实体；若训练语料中的词语为命名实体，则将其分层形声特征中的汉字层级及子字层级上的特征去除，仅采用词语层级上的特征作为其分层形声特征；2.3)通过注意力机制，计算词语与汉字、子词部分的相似度，从而改变单个汉字、子字特征对于整个词语的贡献；2.4)模型的输入为中心词w_t和上下文{w_t‑n,...,w_t‑1,w_t+1...,w_t+n}，对于中心词采用经过注意力机制后的词语层级、汉字层级和子字层级的特征作为输入，对于上下文仅采用经过注意力机制前的汉字层级和子字层级的特征作为输入；3)采用解耦预测和混合预测结合的方式进行模型训练，得到中文词向量的表示。