[发明专利]基于大数据的舆情监控方法、装置、计算机设备及介质

说明书

本发明公开了一种基于大数据的舆情监控方法、装置、计算机设备及存储介质，所述方法包括：通过网络爬虫的方式，采集与舆情相关的基础数据，以及基础数据对应的用户信息，再采用Hadoop平台对基础数据进行过滤分析，得到有效数据，建立有效数据与基础数据对应的用户信息之间的映射关系，并将映射关系存储到舆情数据库中，基于舆情数据库中存储的有效数据、用户信息和映射关系，构建每个用户信息对应的用户画像，并确定用户画像对应的舆情风险等级，在用户画像对应的舆情风险等级超过预设安全等级时，对用户画像对应的用户舆论进行实时监控，实现从舆论的源头进行管控，在舆情爆发前进行监控管制，提高了舆情监控的及时性。

技术领域

本发明涉及数据处理领域，尤其涉及一种基于大数据的舆情监控方法、装置、计算机设备及介质。

背景技术

随着计算机网络技术的迅猛发展，网络舆情的扩散和影响越来越大，这些网络舆情中，存在一些对社会发展有利的舆情，也存在一些借机操作，宣传负面情绪，甚至造谣挑起争端的舆情，为确保社会和谐稳定发展，需要对这些舆情进行监管。

当前采取的措施，主要是通过海量信息自动抓取、主题检测、专题聚焦，实现用户的网络舆情监测和追踪，并对恶意散布负面舆情的用户采取相关处罚措施。

但是，这种方式往往是在舆情扩散到大范围时，才会采取检测追踪，无法在第一时间对舆情事件进行及时回应对舆情事件做出及时响应(对负面信息进行澄清、回应、辟谣等)，耽误了舆情控制的最佳时机，使得舆情的监管不及时。因而，如何提供一种有效及时的舆情监控方法，使得舆情事件在第一时间得到及时处理，成为一个亟待解决的难题。

发明内容

本发明实施例提供一种基于大数据的舆情监控方法、装置、计算机设备和存储介质，以提高舆情监控的及时性。

为了解决上述技术问题，本申请实施例提供一种基于大数据的舆情监控方法，包括：

通过网络爬虫的方式，采集与舆情相关的基础数据，以及所述基础数据对应的用户信息；

采用Hadoop平台对所述基础数据进行过滤分析，得到有效数据，建立所述有效数据与所述基础数据对应的用户信息之间的映射关系，并将所述映射关系存储到舆情数据库中；

基于所述舆情数据库中存储的所述有效数据、所述用户信息和所述映射关系，构建每个用户信息对应的用户画像，并确定所述用户画像对应的舆情风险等级；

若所述用户画像对应的舆情风险等级超过预设安全等级，则对所述用户画像对应的用户舆论进行实时监控。

可选地，所述通过网络爬虫的方式，采集与舆情相关的基础数据，以及所述基础数据对应的用户信息包括：

通过链接分析的方式，确定每个预设网页的网页权重；

根据每个所述预设网页的所述网页权重，确定目标网页；

基于预设的网页排名策略，计算每个所述目标网页的网页排名值，并根据所述网页排名值由大到小的顺序，对所述目标网页进行排序，得到目标页面队列；

基于所述目标页面队列，抓取所述目标网页中的内容，得到所述基础数据和基础数据对应的用户信息。

可选地，所述基础数据为文字数据，采用Hadoop平台对所述基础数据进行过滤分析，得到有效数据包括：

对所述基础数据进行脏数据清洗，得到标准数据；

对所述标准数据进行分词处理，得到基础分词；

使用预设的归类方法，对所述基础分词进行归类，并将得到的具有类别标识的基础分词，作为有效数据。

可选地，所述使用预设的归类方法，对所述基础分词进行归类包括：