[发明专利]一种融合词性与位置信息的词向量训练方法及系统

摘要

本发明公开了一种融合词性与位置信息的词向量训练方法及系统，该方法包括：对数据进行预处理得到目标文本；对目标文本进行分词和词性标注；对词性信息建模和对位置信息建模；在基于负采样策略的skip‑gram模型的基础上融合词性与位置信息进行词向量学习得到目标词向量，该目标词向量用于单词类比任务和单词相似度任务评估。本发明考虑了单词的词性信息及位置信息，且在对单词的词性和位置信息进行建模的基础上，充分利用单词的词性信息以及词性之间的位置信息来帮助词向量的训练，并且在训练的过程中对于参数的更新也更加合理。

主权项

1.一种融合词性与位置信息的词向量训练方法，其特征在于，包括如下步骤：S1、对原始文本进行预处理得到目标文本；S2、根据单词的上下文信息，采用词性标注集中的词性对目标文本中的单词进行词性标注；S3、根据标注的词性信息进行建模构建词性关联权重矩阵M，以及针对词性对所对应单词对的相对位置i进行建模，构建与位置对应的位置词性关联权重矩阵M′_i，其中，矩阵M的行列维度为词性标注集中词性的种类大小，矩阵M中的元素为该元素的行对应单词的词性与该元素的列对应单词的词性的共现概率，矩阵M′_i的行列维度与矩阵M相同，矩阵M′_i中的元素为该元素的行对应单词的词性与该元素的列对应单词的词性在相对位置i时的共现概率；S4、将建模后的矩阵M和矩阵M′_i融合到skip‑gram词向量模型中构建目标模型，由目标模型进行词向量学习得到目标词向量，其中，目标词向量用于单词类比任务以及单词相似度任务。