[发明专利]一种社群内文本价值的评估方法及装置

权利要求书

1.一种社群内文本价值的评估方法，其特征在于，包括：

搜集一个社群内的全部语料文本，构建语料库，并对语料文本进行预处理，将顺次链接的x个词作为词组，将所有的词，组成词汇数据库；将所有的词组，组成词汇数据库，其中，x为大于或等于2的正整数；

对目标文本(T)进行预处理，将顺次链接的x个词作为词组，并将目标文本(T)整合至语料库，对词汇数据库和词组数据库进行更新；

计算目标文本(T)中包含的词组在更新后的词组数据库中出现的概率；

根据目标文本(T)中词组出现的概率，计算每一个词组的信息量，具体为：h(phrase)＝-log₂p(phrase)，其中，p(phrase)表示词组出现的概率，h(phrase)表示词组的信息量；

根据词组在社群内的覆盖度，确定词组在社群内的传播潜力，其中，覆盖度与传播潜力成反比；

根据词组的信息量和传播潜力，获得词组的修正信息量，并根据目标文本中包含的所有词组的修正信息量，获得目标文本的原始信息量评分；

其中，顺次链接的x个词构成的词组中，按照出现顺序分为1位词、2位词和x位词，计算目标文本(T)中包含的词组出现的概率，包括：

对于目标文本(T)中的每个词组(phrase)，计算由1位词至x位词构成的x元组(word1,...,wordx)在更新后的词组数据库中的频数，并与词组数据库中词组的总数量作商，得到x个词同时出现的概率p(word1,...,wordx)；

当x＝2，即词组中包含两个词时，计算1位词在词汇数据库中的频数，并与词汇数据库中词汇的总数量作商，得到1位词出现的概率；依据条件概率公式，计算得到1位词出现的情况下2位词出现的概率，即词组出现的概率，

p(phrase)＝p(word2|word1)＝p(word1∩word2)/p(word1)

其中，p(phrase)表示词组出现的概率，word1表示1位词，word2表示2位词，p(word1)表示1位词出现的概率，p(word1∩word2)表示1位词和2位词同时出现的概率；

当x2，即词组中包含两个以上的词时，对于词组中的1至x-1位词，计算1至x-1位词(word1_x-1)在对应的x-1元词组数据库中的频数，并与该词组数据库中词组的总数量作商，得到1至x-1位词出现的概率；依据条件概率公式，计算得到1至x-1位词出现的情况下x位词出现的概率，即词组出现的概率，

p(phrase)＝p(wordx|word1_x-1)＝p(word1...wordx)/p(word1_x-1)

其中，p(phrase)表示词组出现的概率，word1表示1位词，wordx表示x位词，p(word1_x-1)表示1至x-1位词出现的概率，p(word1...wordx)表示x个词同时出现的概率；

根据词组在社群内的覆盖度，确定词组在社群内的传播潜力，包括：

获取社群内文本单元总数以及包含词组phrase的文本单元数，其中，文本单元表示社群内的每个个体及其对应的所有文本语料；

根据下述公式计算单个词组信息量的覆盖度修正参数，将其作为词组在社群内的传播潜力：

S_index＝logN(N/n)

其中，S_index表示词组信息量的覆盖度修正参数，N表示文本单元总数，n表示包含词组phrase的文本单元数。

2.如权利要求1所述的方法，其特征在于，在获得目标文本的原始信息量评分之后，所述方法还包括：

将原始信息量评分进行归一化处理得到信息量评分，将其值域控制在[0，100)之间，归一化处理方式为：

NSH(T)＝actan(SH(T))*200/π，

其中，SH(T)表示原始信息量评分，NSH(T)表示信息量评分。

3.如权利要求1所述的方法，其特征在于，所述方法还包括：

对目标文本(T)进行乱码判别；

根据乱码判别的结果对目标文本(T)的信息量评分进行修正。

4.如权利要求1所述的方法，其特征在于，所述方法还包括：

对目标文本(T)进行重复性内容判别；

根据重复性内容判别的结果对目标文本(T)的信息量评分进行修正。