[发明专利]一种面向网络舆情的数据分布式定向存储方法和装置

说明书

本发明涉及一种面向网络舆情的数据分布式定向存储方法和装置，其方法包括以下步骤，S1，从网络大数据中筛选出网络舆情数据；S2，对所述网络舆情数据进行风险评估，并根据风险评估结果对所述网络舆情数据进行分类，得到多个风险等级的网络舆情子数据集；S3，将各个所述网络舆情子数据集定向的存储至各个对应的分布式数据库中。本发明一种面向网络舆情的数据分布式定向存储方法和装置，从大数据中筛选出网络舆情数据，并进行存储，而不是对所有大数据进行存储，可以节省存储空间；另外，根据风险等级采用定向分布式的方式对舆情数据进行存储，可以实现稳定的存储，有利于数据的传输和维护。

技术领域

本发明涉及大数据领域，具体涉及一种面向网络舆情的数据分布式定向存储方法和装置。

背景技术

网络舆情是通过互联网传播的公众对现实生活中某些热点、焦点问题所持的有较强影响力、倾向性的言论和观点，主要通过BBS论坛、博客、新闻跟贴、转贴等实现并加以强化。现有存储网络舆情数据的方式存在如下问题：存储数据量过大，进行全量存储。不利于数据的传输和维护，设备故障易导致数据丢失造成严重统失；并且存储成本高，设备的配置要求较高，大数据时代的到来存储的数据量过大，会提高运营成本；如何对舆情数据进行稳定和低成本的存储是目前亟待解决的问题。

发明内容

本发明所要解决的技术问题是提供一种面向网络舆情的数据分布式定向存储方法和装置，可以实现对舆情数据稳定和低成本的存储。

本发明解决上述技术问题的技术方案如下：一种面向网络舆情的数据分布式定向存储方法，包括以下步骤，

S1，从网络大数据中筛选出网络舆情数据；

S2，对所述网络舆情数据进行风险评估，并根据风险评估结果对所述网络舆情数据进行分类，得到多个风险等级的网络舆情子数据集；

S3，将各个所述网络舆情子数据集定向的存储至各个对应的分布式数据库中。

在上述技术方案的基础上，本发明还可以做如下改进。

进一步，所述S1具体为，为网络舆情事件配置多个关键词，利用多个所述关键词构建网络舆情事件模型；对所述网络舆情事件模型进行训练，得到网络舆情识别模型；将网络大数据输入至所述网络舆情识别模型中，得到网络舆情数据。

进一步，所述S2之间还包括如下步骤，基于所述关键词构建网络舆情风险评估模型。

进一步，所述S2具体为，根据所述网络舆情风险评估模型对所述网络舆情数据进行评估，计算出所述网络舆情数据在所述网络舆情风险评估模型中与各个所述关键词的关联系数；根据所述关联系数将所述网络舆情数据进行分类，得到多个风险等级的网络舆情子数据集。

进一步，所述S3之间还包括如下步骤，布设分布式数据库。

基于上述一种面向网络舆情的数据分布式定向存储方法，本发明还提供一种面向网络舆情的数据分布式定向存储装置。

一种面向网络舆情的数据分布式定向存储装置，包括以下模块，

网络舆情数据筛选模块，其用于从网络大数据中筛选出网络舆情数据；

网络舆情数据分类模块，其用于对所述网络舆情数据进行风险评估，并根据风险评估结果对所述网络舆情数据进行分类，得到多个风险等级的网络舆情子数据集；

定向分布式存储模块，其用于将各个所述网络舆情子数据集定向的存储至各个对应的分布式数据库中。

在上述技术方案的基础上，本发明还可以做如下改进。