[发明专利]一种基于中文语素和拼音联合统计的词向量表示方法

摘要

一种基于中文语素和拼音联合统计的词向量表示方法，包括如下步骤：①采集互联网文本信息构建语料库，对构建的语料库进行正文清洗和分词处理；②对中文语料进行分词处理后转为不保留声调信息的拼音信息，然后分别对语素和拼音特征在训练集语料和全文档中统计词频和逆文档概率作统计权重TFc、IDFc、TFp和IDFp；③基于上下文语素和拼音联合统计的中文词表示模型，构造中文单个语素表示向量；④在步骤③的基础上训练一个三层神经网络以用于中心目标词的预测。该方法可满足离线词典和语料数据规模的适应性、可直接学习大规模无标注的互联网信息文本数据、可提高常规的词嵌入模型对于中文语言差异特性的兼顾性、可提高对错别字词语的表示和识别准确性。

主权项

1.一种基于中文语素和拼音联合统计的词向量表示方法，其特征在于：包括如下步骤：①采集互联网文本信息构建语料库，对构建的语料库进行正文清洗和分词处理；②对中文语料进行分词处理后转为不保留声调信息的拼音信息，然后分别对语素和拼音特征在训练集语料和全文档中统计词频和逆文档概率作统计权重TF_c、IDF_c、TF_p和IDF_p；③基于上下文语素和拼音联合统计的中文词表示模型，对于给定长度语句S＝[x₁,x₂,...,x_K]，其中x_K为第K个语素，通过一个固定大小窗口内的上下文语素来预测中心目标词x_i，构造中文单个语素表示向量；④在步骤③的基础上训练一个三层神经网络以用于中心目标词的预测，该神经网络包括输入层、一个隐含层和输出层，其输入层特征为基于语素、拼音和词频统计的融合特征，输出层为softmax层用于预测中心目标词，输入层与输出层包含节点数量均等于词汇表的大小。