[发明专利]基于保序子矩阵和频繁序列挖掘的电商评论情感分类方法

摘要

本发明公开了基于保序子矩阵和频繁序列挖掘的电商评论情感分类方法，包括步骤：（1）对电商评论进行预处理和中文分词，计算得到近义词的TF‑IDF权重向量，然后基于保序子矩阵OPSM双聚类算法挖掘出权重向量中的局部模式；（3）使用改进的PrefixSpan算法挖掘分类频繁短语特征，同时也通过词语间隔等限制来提升频繁短语区分情感倾向的能力；（4）将（2）和（3）步骤挖掘出来的特征转化成0/1向量，作为分类器的输入，最终得到电商评论的情感分类结果。本发明能够准确地挖掘出电商评论的情感分类特征，使潜在消费者在购买商品前了解商品的评价信息，也能使商家更加充分地了解消费者的意见，从而提高服务质量。

主权项

1.基于保序子矩阵和频繁序列挖掘的电商评论情感分类方法，其特征在于，包括以下步骤：(1)输入带有情感标签的电商评论数据，对数据进行预处理，并将数据划分成训练集TrainSet、验证集ValidationSet和测试集TestSet；(2)用中文分词工具对步骤(1)得到的TrainSet、ValidationSet、TestSet进行中文分词，将每个评论句子转化成词语序列；(3)结合词语相似度和TF‑IDF对步骤(2)得到TrainSet词语序列进行计算，得到近义词的TF‑IDF权重向量，然后基于保序子矩阵OPSM双聚类算法挖掘出权重向量中的OPSM特征；具体包括：(3‑1)使用词嵌入模型word2vec训练中文大语料，得到词嵌入矩阵其中词嵌入矩阵的每一列代表一个词向量，d表示向量的维度，V表示词表，|V|表示词表规模；(3‑2)计算词语相似度，给定相似度阈值T，假设X_i和X_j是W_e中两个词向量，计算两个向量的余弦相似度如下式所示：如果Sim(i,j)≥T，则表示X_i和X_j对应的词语是近义词；(3‑3)根据已有的中文情感词典，提取出步骤(1)TrainSet包含的情感特征词集合，并利用步骤(3‑2)将情感特征词集合中的近义词语归并为同一个簇，得到特征词簇，特征词簇数目为c；(3‑4)根据词语相似度改造TF‑IDF，因为语义接近的两个词在情感倾向判断中起的作用是相似的，所以在计算TF‑IDF权值向量时，根据近义特征词簇来计算，把近义词都当作同一个词处理，近义词的TF‑IDF计算公式如下式所示：其中，N表示语料库中的评论总数；tf_iJ表示近义词频，即文档J中目标词i与其近义词出现的次数；df_i表示近义词文档频率，即语料库中含有目标词i以及它的近义词的文档个数；根据近义词TF‑IDF将TrainSet转化成矩阵trainNum为训练集评论数；(3‑5)根据保序子矩阵OPSM双聚类，挖掘出步骤(3‑4)得到的矩阵W_tfidf中的OPSM子矩阵，将挖掘得到的OPSM子矩阵中包含的词组称为OPSM特征，从而得到OPSM特征集其中n₁为挖掘到OPSM特征个数；(4)将步骤(2)得到TrainSet词语序列转化成数字序列集合，使用改进的PrefixSpan算法挖掘分类频繁短语特征，同时也通过词语间隔限制来提升频繁短语区分情感倾向的能力；具体包括以下步骤：(4‑1)将步骤(1)TrainSet中的每一条评论转化为数字序列，具体的做法是构建一个从词到整数的唯一映射，将每个词替换为对应的整数，得到代表训练集的数字序列集合S；(4‑2)定义分类频繁短语特征，对于一个短语p＝{w₁,w₂,...w_l,...w_m}，其中w_l为短语p中的词语，m为短语p的词语个数，假如同时满足以下几个特点，那么短语p为分类频繁短语特征：(I)短语p中任意两个相邻词语w_l和w_l+1在评论中可以不连续，但是一定要在评论中按照先后顺序出现；(II)给定短语p中相邻两个词语在评论中的最大间隔阈值max_gap，那么p中任意两个相邻词语w_l和w_l+1在评论中的间隔gap l≤max_gap；(III)短语p在训练集TrainSet中的支持度必须大于等于最小支持度，即sup s≥min_sup；(IV)假设短语p在TrainSet中类标签为q的语料中支持度分别为sup_q s，对于标签为0，1的二分类问题，定义短语p的区分度值conf如下式所示：那么短语p的区分度必须大于等于最小区分度阈值，即conf≥min_conf；(4‑3)将数字序列集合S作为改进的PrefixSpan方法的输入，挖掘得到分类频繁短语特征集其中n₂为挖掘到分类频繁短语特征个数；(5)分别匹配步骤(1)得到的TrainSet、ValidationSet、TestSet是否包含步骤(3)(4)得到的OPSM特征和分类频繁短语特征，将TrainSet、ValidationSet、TestSet中的每一条评论转化成0/1向量，并将两种0/1向量进行合并得到最终的特征向量，输出TrainData、ValidationData、TestData；(6)将步骤(5)得到的TrainData、ValidationData、TestData作为分类器的输入，最终得到测试集的情感分类结果。