[发明专利]一种基于位置与语义的复值词向量构建方法

说明书

本发明公开了一种基于位置与语义的复值词向量构建方法，包括以下步骤：搜集文本分类语料集，并将其分为训练集，验证集和测试集；对语料集中的文本进行预处理(去除停止词)；运用相对位置信息和全局语义信息，构建句子表示；将训练语料集的词向量输入到复值神经网络中，训练出语义分类模型；将验证集文本词向量输入到复值神经网络模型中，从而计算出每个样本的预测概率；并将基于验证集得出的模型在测试集上测试；本发明克服了文本分类语料集相对缺乏的现状，能够更充分的提取文本的特征信息(位置信息)，融合文本的位置信息与全局语义信息，并将复值词向量应用到复制神经网络，使这些神经网络模型有较强的判别能力。

技术领域

本发明涉及文本分类技术领域，特别涉及一种基于位置与语义的复值向量构建方法。

背景技术

在过去几年随着科学技术的迅猛发展，特别是互联网和社交网络的快速发展，各种信息充斥在互联网上，这其中就包括用户在社交平台上发表的评论和自己的某些观点，这也成为用户日常生活中获取信息的主要来源之一。人们可能通过互联网获取大量资料，但如何对这些大量资料做出合理有效的管理，越来越成为人们所关心的问题。对大量信息一种很常见的管理方式就是分类，由此可见文本分类蕴含巨大的社会价值。本发明主要研究句子和篇章的情感或所属类别。

分类任务在自然语言处理任务中扮演重要角色。分类任务可简单分为二分类(垃圾邮件分类等等)，多分类(文本的情感状态)，它的发展广泛受到业界和学术界的关注。本发明不仅讨论了句子的情感，还对句子所属类别进行了判断，这是文本分类领域的细粒度任务。例如“是不是看起来不可能：这让连环杀手杰弗里·达默很无聊”。本句的情感是消极情感，主要由单词“无聊”所决定。

基于位置与语义的复值向量表示的神经网络分类方法旨在区分给定句子的情感极性或所属分类。当然目前工业界和学术界都意识到句子中单词情感信息的重要性，并试图通过设计一系列分类模型来更好的区分它们。然而当前的方法通常忽略了句中单词位置信息的重要性，我们并不知道单词所在位置是语义信息重要还是位置信息重要，当单词顺序发生改变但词没有变时，我们期望模型能够更好的识别出单词语义发生了改变。因此本发明关注到句中单词顺序与语义的关系吗，构建了复值词向量encode词间位置和语义信息，并通过复值神经网络模型提取分类信息。

现在，基于复值神经网络模型已经被研究者们用来建模一些自然语言处理任务，并且已经非常成功。然而，目前的方法仅仅使用了复数向量，没有更好的利用复值词向量，挖掘句中单词的相对位置信息。

发明内容

本发明所要解决的技术问题是克服现有技术的不足而提供一种基于复值词向量的神经网络模型的文本情感或所属类别分类的方法，搭建一个基于大量文本语料集，分别构建文本的词向量和相对位置信息，运用复值神经网络模型训练文本分类模型，并利用反向传播、随机下降法Adam训练网络模型得到最优模型在测试集上预测结果，最终得到更加准确的分类结果。

本发明的目的是通过以下技术方案来实现的：

一种基于位置与语义的复值词向量构建方法，包括如下步骤：

(1)采用jieba分词工具，对篇章和句子进行分词，从而构建多模态分类语料集

(2)从(1)构建的多模态分类语料集中，随机选取80％*N个样本作为训练集，10％*N

个样本划分为验证集和剩余的10％*N个样本划分为测试集，并分别对训练集、验证集和

测试集进行预处理；

(3)选取多模态分类语料集中预处理之后的句子构建复值神经网络模型，进而建立复值神经网络模型的损失函数：

其中：y_i代表真是类别标签，代表预测结果；

(4)将复值神经网络模型在训练集上进行训练获得语义分类模型；