[发明专利]一种基于微博的新词情感倾向判定方法

权利要求书

1.一种基于微博的新词情感倾向判定方法，其特征在于：通过中文分词工具对微博语料进行分词，并以分词结果中的停用词为分割点对分词后的语料进行分块，将每个块内相邻的字串两两组合，对组合后的字串频率进行统计，将频率高于阈值的词串作为新词候选串；根据汉语言学的成词规则以及邻接变化数的规则对新词候选串进行过滤取得新词；再利用知网的情感词典，计算共现词与知网情感词的词语相似度；计算新词与共现词的相关度；以新词和该新词的共现词为节点，在新词和它的共现词之间建立边，以新词与共现词的相关度为边的权重，构建图模型；利用标签传播算法得到新词的情感极性分布，最后通过构建线性分类器得到新词的情感倾向性；

所述方法的具体步骤如下：

Step1、通过中文分词工具对微博语料进行分词；

Step2、以分词结果中的停用词为分割点对分词后的语料进行分块，并将每个块内相邻的字串两两组合，对组合后的字串频率进行统计，将频率高于阈值T的词串作为新词候选串；

Step3、根据汉语言学的成词规则以及邻接变化数的规则对新词候选串进行过滤取得新词；

Step4、利用知网的情感词典，计算共现词与知网情感词的词语相似度：

Step4.1、找出微博语料中与新词共现的非停用词，作为共现词；

Step4.2、利用知网情感词典，计算共现词与知网情感词的词语相似度，表示如下：

式中，Sim(si,pj)表示共现词si和知网情感词pj之间的词语相似度，i和j表示任意的两个词的下标，m和n分别为共现词si和知网情感词pj的义项个数，表示共现词si的第m个义项，表示知网情感词pj的第n个义项，P表示知网情感词的集合；

s i m ( u m s i , u n p j ) = 1 n 1 n 2 Σ l = 1 n 1 Σ f = 1 n 2 1 2 n 1 - l + 1 s i m ( r s i , r p j ) ]]>

式中，表示共现词si和知网情感词pj的义项相似度，n1和n2分别为义项和中的属性个数，为义项定义中不同位置的属性的权重值，l为1到n1的一个变量，f为1到n2的一个变量，和为义项和的义元；

式中，表示共现词si和知网情感词pj的义元相似度，d是和在层次体系中的路径距离，α是一个可调节的参数；

Step5、计算新词与新词的共现词的相关度：

w i j = Σ r = 1 R C ( v i , v j ) × N ( v i , r , v j ) ]]>

式中，i和j表示任意的两个词的下标，R为自定义的窗口的大小，r为小于等于R的正数，表示两词在R窗口内的距离，wij表示新词vi和新词vi的共现词vj的相关度，N(vi,r,vj)为：新词vi和新词vi的共现词vj在相关文档集合中R窗口内距离为r时的共现次数，C(vi,vj)＝R-r+1为两词语间的共现强度；

Step6、以新词和该新词的共现词为节点，在新词和它的共现词之间建立边，以Step5中的相关度为边的权重，构建图模型；

Step7、利用词语相似度计算共现词si在y上的极性分布：

s i ( y ) = c o u n t ( S i m ( s i , p j + ) > R K ) c o u n t ( S i m ( s i , p j ) > R K ) y = + 1 0 y = 0 c o u n t ( S i m ( s i , p j - ) > R K ) c o u n t ( S i m ( s i , p j ) > R K ) y = - 1 ]]>

式中，RK为阈值，si(y)表示共现词的极性分布，i和j表示任意的两个词的下标，Sim表示词语相似度，为知网情感词中正倾向性的词，为知网情感词中负倾向性的词，count表示的是词的数量；

Step8、标签传播算法确定新词情感倾向；

Step8.1、得到新词的极性分布，其目标函数如下：

C = Σ v i ∈ V t v j ∈ K ( V t ) w i j | | q i ( y ) - s i ( y ) | | 2 + λ Σ v i ∈ V t | | q i ( y ) - γ | | 2 ]]>

其中：

| | q i ( y ) - s i ( y ) | | 2 = Σ y ( q i ( y ) - s i ( y ) ) 2 ]]>

| | q i ( y ) - γ | | 2 = Σ y ( q i ( y ) - γ ) 2 ]]>

式中，i和j表示任意的两个词的下标，qi(y)表示新词节点vi的极性分布，si(y)表示共现词vj的极性分布，γ和λ是自定义参数，Vt表示共现词集合，K(Vt)表示共现词Vt的K近邻词集合；

Step8.2、将得到的新词的极性分布记为Qn，构建线性分类器，得到新词的情感倾向：当新词的情感倾向为褒义的概率减去为贬义的概率大于阈值RT时，该新词情感倾向为1，即是褒义词；当新词的情感倾向为褒义的概率减去为贬义的概率的绝对值小于等于阈值RT时，该新词情感倾向为0，即是中性词；当新词的情感倾向为贬义的概率减去为褒义的概率大于阈值RT时，该新词情感倾向为-1，即是贬义词；

Q n = 1 Q n ( y = 1 ) - Q n ( y = - 1 ) > R T 0 | Q n ( y = 1 ) - Q n ( y = - 1 ) | ≤ R T - 1 Q n ( y = - 1 ) - Q n ( y = 1 ) > R T ]]>

式中，Qn(y＝1)表示Qn为褒义的概率，Qn(y＝-1)表示Qn为贬义的概率，RT为阈值。