[发明专利]文本信息的挖掘方法及装置

权利要求书

1.一种文本信息的挖掘方法，其特征在于，包括：

步骤S1：对获取的舆情信息进行数据提取获得多个文本，根据文本的发布时间对多个文本进行分组；

步骤S2：通过jieba分词对每个分组中的文本进行分词并获得分组中每一主题词的分布统计数据；

步骤S3：通过LDA算法对每个分组中的文本进行主题词提取输出文本属于主题的第一概率矩阵及每个主题中主题词分布的第二概率矩阵；

步骤S4：根据第一概率矩阵及第二概率矩阵获得每个分组的文本话题特征；

步骤S5：根据每个分组中文本话题特征及主题词的分布统计数据获得话题峰值；

其中，所述步骤S5中根据以下公式获得话题峰值：

其中，S为话题峰值，为文本话题特征，为分布统计数据即第i个分组中词j的分布统计数据，N表示文本条数。

2.如权利要求1所述的挖掘方法，其特征在于，所述步骤S1中包括：

步骤S11：根据舆情信息获得包括文本id、发布时间及文本内容的多个文本；

步骤S12：根据发布时间对多个文本进行分组。

3.如权利要求1所述的挖掘方法，其特征在于，所述步骤S3中包括：

步骤S31：根据对每个文本对应到不同中间层集合的概率θd进行计算获得p(t|d)；

步骤S32：根据对中间层集合中的topic t生成不同主题词的概率φt进行计算获得p(w|t)；

步骤S33：根据p(t|d)及p(w|t)构建第一概率矩阵及第二概率矩阵；

其中，d为文本，w为主题词，t为主题，p(t|d)为文本中主题的概率，p(w|t)为主题中主题词的概率。

4.如权利要求1所述的挖掘方法，其特征在于，所述步骤S4中包括：

步骤S41：根据第一概率矩阵及第二概率矩阵获得每个文本的话题特征；

步骤S42：根据每个文本的话题特征获得每个分组的文本话题特征。

5.一种文本信息的挖掘装置，其特征在于，包括：

分组单元，对获取的舆情信息进行数据提取获得多个文本，根据文本的发布时间对多个文本进行分组；

分布统计数据计算单元，通过jieba分词对每个分组中的文本进行分词并获得分组中每一主题词的分布统计数据；

概率矩阵获得单元，通过LDA算法对每个分组中的文本进行主题词提取输出文本属于主题的第一概率矩阵及每个主题中主题词分布的第二概率矩阵；

文本话题特征获得单元，根据第一概率矩阵及第二概率矩阵获得每个分组的文本话题特征；

峰值发现单元，根据每个分组中文本话题特征及主题词的分布统计数据获得话题峰值；

其中，所述峰值发现单元根据以下公式获得话题峰值：

其中，S为话题峰值，为文本话题特征，为分布统计数据即第i个分组中词j的分布统计数据，N表示文本条数。

6.如权利要求5所述的挖掘装置，其特征在于，所述分组单元中包括：

提取模块，根据舆情信息获得包括文本id、发布时间及文本内容的多个文本；

分组模块，根据发布时间对多个文本进行分组。

7.如权利要求5所述的挖掘装置，其特征在于，所述概率矩阵获得单元包括：

第一计算模块，根据对每个文本对应到不同中间层集合的概率θd进行计算获得p(t|d)；

第二计算模块，根据对中间层集合中的topic t生成不同主题词的概率φt进行计算获得p(w|t)；

概率矩阵构建模块，根据p(t|d)及p(w|t)构建第一概率矩阵及第二概率矩阵；

其中，d为文本，w为主题词，t为主题，p(t|d)为文本中主题的概率，p(w|t)为主题中主题词的概率。

8.如权利要求5所述的挖掘装置，其特征在于，所述文本话题特征获得单元包括：

第三计算模块，根据第一概率矩阵及第二概率矩阵获得每个文本的话题特征；

第四计算模块，根据每个文本的话题特征获得每个分组的文本话题特征。