[发明专利]一种基于数据挖掘技术的舆情监测系统

摘要

一种基于数据挖掘技术的舆情监测系统，包括：数据获取单元，用于通过网络爬虫程序爬取互联网舆情初始数据；分片单元，用于将互联网舆情初始数据进行输入分片；计算单元，用于合并中间文件中的重复键值，以降低映射输出文件冗余；缓存单元，用于在内存中开辟环形内存缓冲区，环形内存缓冲区用于映射输出文件输出；输出单元，用于将所有的映射输出文件并存储到分布式文件存储系统上；建模单元，用于建立网络舆情预测模型；预测单元，用于从分布式文件存储系统上读取映射输出文件并通过网络舆情预测模型进行舆情预测。

主权项

1.一种基于数据挖掘技术的舆情监测系统，其特征在于，其包括如下单元：数据获取单元，用于通过网络爬虫程序爬取互联网舆情初始数据；分片单元，用于将互联网舆情初始数据进行输入分片，将各个输入分片分配一个映射任务，输入分片存储分片长度以及记录数据的位置的数组；通过预先编写的映射函数在数据存储节点上进行映射得到中间文件；计算单元，用于合并中间文件中的重复键值，以降低映射输出文件冗余；并对合并后的键值进行序列化得到映射缓存文件；自动获取各个计算节点的计算负载值，根据计算节点的计算负载值将各个映射缓存文件分配到各个计算节点中；缓存单元，用于在内存中开辟环形内存缓冲区，环形内存缓冲区用于映射输出文件输出；在环形内存缓冲区中创建配置文件，在配置文件中配置内存缓冲区的内存占用阈值；在环形内存缓冲区中内存占用大于或等于占用阈值时，保护线程暂停将数据写入内存，并在内存中写入溢出文件，溢出文件确定写入磁盘的文件，并将环形内存缓冲区的文件写入磁盘直至所有的映射输出文件输出完毕；输出单元，用于将所有的映射输出文件并存储到分布式文件存储系统上；建模单元，用于建立网络舆情预测模型；预测单元，用于从分布式文件存储系统上读取映射输出文件并通过网络舆情预测模型进行舆情预测；其中,所述数据获取单元包括：通过网络爬虫程序从自定义抓取列表中取出链接地址，获取网络文本；对网络页面进行检测深度网络数据源，取出数据噪声，提取正文文本，进行主题相关度判定处理；所述分片单元中对互联网舆情初始数据进行输入分片包括：建立关联关系表，将输入文件拆分为位置关系值、活动关系值、结构关系值、功能关系值、行为关系值，并将各个输入文件的各个关系值的对应关系写入关联关系表中；将各个关系值对应的数据划入输入分片中。