[发明专利]基于领域信息的半监督方面自动提取方法及其系统

权利要求书

1.基于领域信息的半监督方面自动提取方法，其特征在于，包括：

网络信息爬取，从电子商务网站上爬取消费者对于关注商品的评论，以及电子商务网站中对于商品半结构化的商品细节描述信息；

信息预处理，将爬取到的评论进行分词、词性标注和去除停顿词处理，并提取评论中的特征单词；

关键词提取，从电子商务网站中半结构化的商品细节描述信息中提取每个方面类别的关键词作为半监督主题模型的种子词集，获取由电商网站中的专业领域定义的或符合人们认知习惯的商品方面分类作为半监督方法的先验知识；

评论文档重组，将评论中各个句子利用提取的所述关键词进行标记，然后将含有相同关键词的句子重新组合成新的文档，得到学习文档；

细粒度的标记LDA学习，通过半监督的LDA主题模型识别评论中的产品特征，将所述的产品特征的属于同一方面的特征进行归类；所述半监督的LDA主题模型是通过加入方面-词的约束关系来监督模型生成分类，并获得顺序与种子词集中定义相一致的商品方面集；所述的方面-词的约束关系是指在评论中，关键词具有特定的方面倾向；

其中，所述方面类别c_i中的第j个细节描述短语p_i,j中的关键词w_t的定义为以下三种定义中的任意一种定义：

第一种定义：

第二种定义：

第三种定义：

式中，TFIDF_m,i表示单词w_m在c_i中的TFIDF值，TF_t,i表示单词w_t在c_i中的词频；

所述的细粒度的标记LDA学习包括以下步骤：

(5a)利用种子词集初始化词-主题相关性变量相关性变量的设置表达式如下：

${\mathrm{\ρ}}_k^w=\left\{\begin{array}{cc}\mathrm{\λ}(1+{\mathrm{\ϵ}}_k^w)+(1-\mathrm{\λ}),& {\mathrm{\γ}}_k^w=1,\\ 1,& {\mathrm{\γ}}_k^w=0,\end{array}\right.$

其中，表示单词w在种子方面集s_k的词频，λ是松弛因子，所述松弛因子用于控制的影响强度，表示单词w是否属于种子方面集s_k的指示函数，如果单词w属于种子方面集s_k，则为1，否则为0，所述指示函数的定义如下：

式中，s_k表示种子方面集；

(5b)初始化狄利克雷先验概率参数：对于文档d的文档-方面狄利克雷先验参数α_d：

${\mathrm{\α}}_d=\mathrm{\α}\×{\mathrm{\γ}}^{l_d},$

其中，α＝(α₁,…,α_K)，α_i＝50/K+Δ_i，K是种子方面的个数，Δ_i是[0,5]之间的随机数，对于种子词的方面–词的狄利克雷先验参数β^s＝0.5；对于普通词的方面-词的狄利克雷先验参数β^g＝0.1；

(5c)初始化后验概率随机初始化单词在方面变量上的分布Z；

(5d)采用吉布斯采样方法估计概率P(w,z|α,β,γ)的值，所述概率P(w,z|α,β,γ)的计算公式如下：

$P(w,z|\mathrm{\α},\mathrm{\β},\mathrm{\γ})=\left\{\begin{array}{cc}{\mathrm{\ρ}}_k^{w_i}\frac{n_{-i,k}^{w_i}+{\mathrm{\β}}^s}{n_{-i,k}^{(.)}+{\mathrm{V\β}}^s}\frac{n_{-i,k}^d+{\mathrm{\α}}_d}{n_{-i(.)}^d+{\mathrm{K\α}}_d},& w_i\∈S,\\ \frac{n_{-i,k}^{w_i}+{\mathrm{\β}}^g}{n_{-i,k}^{(.)}+{\mathrm{V\β}}^g}\frac{n_{-i,k}^d+{\mathrm{\α}}_d}{n_{-i(.)}^d+{\mathrm{K\α}}_d},& w_i\∉S,\end{array}\right.$

式中，S为种子词集，是单词w_i与种子方面s_k的相关性，α_d是文档d的狄利克雷先验参数，V是单词的数目，K表示方面的个数，即种子集中方面的个数，β^s是种子词的狄利克雷先验参数，β^g是普通词的狄利克雷先验参数，表示单词w_i在方面z_k的出现数目减去w_i出现的数目，表示文档d中的单词出现在方面z_k的次数减去w_i出现的数目，表示所有单词在方面z_k的出现数目减去w_i出现的数目，表示文档d中的单词出现在所有方面的次数减去w_i出现的数目；

(5e)计算后验概率，所述后验概率包括和

所述的计算公式如下：

${\mathrm{\θ}}_k^d=\frac{n_{-i,k}^d+{\mathrm{\α}}_d}{n_{-i(.)}^d+{\mathrm{K\α}}_d},$

式中，表示方面k在文档d中的概率；

所述的计算公式如下：

式中，表示单词w_i属于方面k的概率。