[发明专利]一种基于中文语素和拼音联合统计的词向量表示方法

说明书

一种基于中文语素和拼音联合统计的词向量表示方法，包括如下步骤：①采集互联网文本信息构建语料库，对构建的语料库进行正文清洗和分词处理；②对中文语料进行分词处理后转为不保留声调信息的拼音信息，然后分别对语素和拼音特征在训练集语料和全文档中统计词频和逆文档概率作统计权重TF_c、IDF_c、TF_p和IDF_p；③基于上下文语素和拼音联合统计的中文词表示模型，构造中文单个语素表示向量；④在步骤③的基础上训练一个三层神经网络以用于中心目标词的预测。该方法可满足离线词典和语料数据规模的适应性、可直接学习大规模无标注的互联网信息文本数据、可提高常规的词嵌入模型对于中文语言差异特性的兼顾性、可提高对错别字词语的表示和识别准确性。

技术领域：

本发明属于自然语言处理技术领域，涉及中文词向量表示模型，尤其涉及一种基于中文语素和拼音联合统计的词向量表示方法。

背景技术：

目前，自然语言处理技术应用到了各个方面，文本中的词表示技术是自然语言处理领域的基础性研究。中文词表示技术是将中文汉字表达为数据向量形式，应用于神经网络语言模型，数据表示作为前期预备工作，它的表达优劣严重影响了语言模型学习训练和场景应用的性能。

通常完成文本数据分析进行自然语言处理工作需要挖掘海量文本语料信息，而随着互联网时代的信息高速增长，文本数据的规范化和结构化程度日益减弱。此外在广泛的互联网信息生产和分发评论中，国内外约占75％的用户习惯于使用拼音输入进行中文编辑，然而一方面由于用户书写行为的准确率和复查率较低；另一方面不同地区对于相同文本的发音习惯不同，在一定程度上造成了错别字的出现。其中错别字的主要存在形式包括：字错音不错(例：典[电]力)、同音不同词(例：错事[措施])、方言式错别字(例：cong zheng[重整])等以上三种。错别字不仅会影响分词结果，还将影响中文词向量表示模型的表现性能。

目前现有的正则表达式、向量空间和词向量等表示方法，无法满足离线词典和语料数据规模的适应性，难以直接学习大规模无标注的互联网信息文本数据。同时常规的词嵌入模型对于中文语言差异特性的兼顾性较差，对错别字词语的表示和识别准确性较低。

发明内容：

本发明的目的主要针对现有中文词表示技术研究的一些不足之处，提出了一种基于中文语素和拼音联合统计的词向量表示方法，该方法可满足离线词典和语料数据规模的适应性、可直接学习大规模无标注的互联网信息文本数据、可提高常规的词嵌入模型对于中文语言差异特性的兼顾性、可提高对错别字词语的表示和识别准确性。

如上构思，本发明的技术方案是：一种基于中文语素和拼音联合统计的词向量表示方法，其特征在于：包括如下步骤：

①采集互联网文本信息构建语料库，对构建的语料库进行正文清洗和分词处理；

②对中文语料进行分词处理后转为不保留声调信息的拼音信息，然后分别对语素和拼音特征在训练集语料和全文档中统计词频和逆文档概率作统计权重TF_c、IDF_c、TF_p和IDF_p；

③基于上下文语素和拼音联合统计的中文词表示模型，对于给定长度语句S＝[x₁,x₂,...,x_K]，其中x_K为第K个语素，通过一个固定大小窗口内的上下文语素来预测中心目标词x_i，构造中文单个语素表示向量；

④在步骤③的基础上训练一个三层神经网络以用于中心目标词的预测，该神经网络包括输入层、一个隐含层和输出层，其输入层特征为基于语素、拼音和词频统计的融合特征，输出层为softmax层用于预测中心目标词，输入层与输出层包含节点数量均等于词汇表的大小。