[发明专利]一种融合多特征的双向循环神经网络细粒度意见挖掘方法

摘要

一种融合多特征的双向循环神经网络细粒度意见挖掘方法，通过互联网抓取特定网站的评论数据，并对其进行标注和预处理得到训练样本集，使用Word2Vec或Glove模型算法训练得到评论数据的词向量，并进行词性标注、依存关系标注等处理后向量化，将向量输入双向循环神经网络构建得到双向循环神经网络细粒度意见挖掘模型，本发明通过一个模型的训练同时抽取细粒度意见挖掘中属性词以及进行情感极性判断，从而进一步节约了大量的模型训练时间，提高训练效率，而且，无需专业技术人员对属性词进行人工抽取，从而节约了大量的人工成本，另外，可以通过用多种数据源训练模型，从而可以完成跨领域的细粒度意见分析，从而解决长距离情感要素依赖的问题。

主权项

一种融合多特征的双向循环神经网络细粒度意见挖掘方法，其特征在于，包括以下步骤：S1)、抓取特定网站的评论数据作为训练样本集；S2)、通过人工标注训练样本集中每条评论数据中所需要的属性或实体，根据人工标注结果使用实体标记方法(BIO)标记每条评论数据的属性或实体后，并进行情感极性标注，即(B1,I1,O)表示评论数据的情感极性为正面，(B2,I2,O)表示评论数据的情感极性为负面，(B3,I3,O)表示评论数据的情感极性为中性，从而得到评论数据中每个词的7个情感极性标记分类结果，即其中，B、I、O分别表示实体的开始、内部、外部；S3)、对训练样本集进行分词，词性标注和依存关系标注等预处理；S4)、选取一个汉语的维基百科语料库，并对其进行分词，词性标注和依存关系标注等预处理，使用Word2Vec或Glove模型算法，输入预处理后的训练样本集与预处理后的维基百科语料库，训练输出评论数据与维基百科语料库中每个词的词向量Vec_Model；S5)、将预处理后的训练样本集中的每一条评论数据转化为序列X＝{x1,x2,…,xn}，其中，xi表示该条评论数据的第i个词，并将序列X＝{x1,x2,…,xn}对应的词性标注(Part‑of‑Speech)序列记为P＝{p1,p2,…,pn}，其中，pi表示xi的词性，以及对应的依存关系标注(Dependency Relation)序列记为D＝{d1,d2,…,dn}，依存关系对记为R＝{r1,r2,…,rn}，其中，ri表示任意2个词的依存关系，对于每一条评论数据，在t时刻，任意词xt、词性标注dt、依存关系标注pt、依存关系对rt四个特征向量化后融合拼接得到向量S6)、将向量输入双向循环神经网络构建得到双向循环神经网络序列标注模型，其网络的前后向隐藏层的循环计算为：h→t=f(W→M(xt)+V→h→t-1+b→),]]>h←t=f(W←M(xt)+V←h←t+1+b←);]]>将前、后向隐藏层接入到输出层，最后接一个激活函数得到预测值yt，即yt=g(Uht+c)=g(U[h→t;h←t]+c);]]>其中，N为词向量纬度，N1为依存关系种类个数，N2为词性标签种类个数，U为权重矩阵，c为偏置；S7)、将预测值yi与真实值通过计算交叉熵作为损失函数loss，从而最小化损失函数值，其计算式为：loss=-Σi=1nΣj=17y^ijlogyij,]]>其中，i表示每条评论数据中每个词的索引，j表示每条评论数据的7类情感极性标记分类的索引；并通过梯度下降算法更新网络中的权重矩阵U和偏置c，然后依据更新后的权重矩阵U和偏置c重新计算上述损失函数loss的值，重复迭代多次直至损失函数loss的值不再减小，从而得到训练好的双向循环神经网络细粒度意见挖掘模型；S8)、获取新的评论数据作为测试语料集，并对测试语料集按照步骤S2‑S5进行相应的处理后输入步骤S7)中训练好的双向循环神经网络序列标注模型，对测试语料集进行情感极性分类。