[发明专利]一种基于大数据的舆情监测平台

权利要求书

1.一种基于大数据的舆情监测平台，其特征在于，包括互联网终端、网页咨询收集模块、用户浏览监测模块、关键词筛选模块、文本提取模块、数据预处理模块、舆情存储模块、分析判断模块、特征要求输入模块、特征模型建立模块、监测特征存储模块、报告生成模块、反馈模块和历史舆情库；

其中，所述网页咨询收集模块包括咨询收集单元和HTML转化单元；所述用户浏览监测模块包括用户交互界面、数据对接单元和数据导入单元；所述数据预处理模块包括数据文本存储单元、测重单元、删除单元和发送单元；所述分析判断模块包括关联度计算单元、提取单元和上传单元；所述关键词筛选模块包括分词累计单元、词频阈值单元、剪除单元和词频排序单元。

2.根据权利要求1所述的一种基于大数据的舆情监测平台，其特征在于，所述互联网终端用于连接互联网，并为网页咨询收集模块提供咨询数据；所述网页咨询收集模块用于生成咨询文本，并发送至关键词筛选模块和文本提取模块，其生成咨询文本的具体步骤为：

S1、咨询收集单元用于收集咨询数据，并存储咨询数据；

S2、HTML转化单元用于咨询数据的超文本标记转化，生成一个逻辑整体，即咨询文本；

所述关键词筛选模块用于筛选生成关键词列表，并发送至文本提取模块，其生成关键词列表的具体操作为：

SS1、分词累计单元用于提取咨询文本内的关键词，并累计相同关键词的词频，生成总表；

SS2、词频阈值单元用于设置关键词的词频标准值；

SS3、剪除单元用于总表与词频标准值的比对，并判断是否合格，其具体为：

A、若关键词的词频＜词频标准值，则不合格，即无用关键词；

B、若关键词的词频≥词频标准值，则合格，即有用关键词；

C、剪除总表内的无用关键词，得到预关键词列表；

SS4、词表排序单元用于预关键词列表内的词频排序，生成关键词列表，并发送至文本提取模块，其排序按照从多到少排序；

所述文本提取模块用于接收关键词列表和咨询文本，并依据关键词列表提取咨询文本内的内容，生成预舆情文本，并将预舆情文本发送至数据预处理模块。

3.根据权利要求2所述的一种基于大数据的舆情监测平台，其特征在于，步骤SS1中所述提取采用爬虫提取技术。

4.根据权利要求1所述的一种基于大数据的舆情监测平台，其特征在于，所述用户浏览监测模块用于生成舆情数据，并上传至数据预处理模块，其具体上传步骤为：

SSS1、用户交互界面用于收集用户搜索的高频词句，并发送至数据对接单元；

SSS2、数据对接单元依据高频词句对接历史舆情库，并提取历史舆情，生成舆情数据；

SSS3、数据导入单元将舆情数据上传至数据预处理模块；

所述数据预处理模块用于生成舆情文本，并发送至舆情存储模块，其生成舆情文本的具体操作为：

SSSS1、数据文本存储单元用于存储预舆情文本和舆情数据；

SSSS2、测重单元用于对比舆情数据和预舆情文本，并判断是否重复，具体为：

a、计算舆情数据和预舆情文本的相似度

b、若相似度≥60％，则重复；

c、若相似度＜60％，则不重复；

SSSS3、删除单元用于删除预舆情文本内重复的部分，即得舆情文本；

SSSS4、发送单元用于发送舆情文本；

所述舆情存储模块用于存储舆情文本，并发送至分析判断模块。

5.根据权利要求1所述的一种基于大数据的舆情监测平台，其特征在于，所述特征要求输入模块用于输入用户的舆情需求特征，并发送至特征模型建立模块；所述特征模型建立模块用于建立特征模型，并发送特征模型至监测特征存储模块；所述监测特征存储模块用于存储特征模型，并发送至分析判断模块。