[发明专利]网络信息处理平台

说明书

技术领域

本发明涉及计算机领域，具体地，涉及一种网络信息处理平台。

背景技术

目前，随着计算机技术和互联网的发展，许多政府和企业都在进行大数据的建设，而大数据建设对企业的发展方向，政府的管理水平和服务方式的改进都起到非常重要的作用，但现有的大数据处理中，往往是将数据都集中到一起后，再进行分类，造成后期工作量大，因数据量巨大，造成接收数据时网络堵塞，从而存在数据丢失的问题。

发明内容

本发明的目的在于，针对上述问题，提出一种网络信息处理平台，以实现防止数据丢失的优点。

为实现上述目的，本发明采用的技术方案是：

一种网络信息处理平台，包括，

数据采集服务器：采集互联网上的数据，并对数据进行初步分类，并将相同类别的数据压缩处理后传输至发送服务器；

发送服务器：接收数据采集服务器发送的数据后，保存接收的数据并按照数据类别和接收时间建立发送队列表；

接收服务器，按照数据类别进行分组，并对接收服务器组进行编号，接收服务器组按照数据分类，不同的接收服务器组只接收同类别的数据，并保存接收的数据；

中央控制器：中央控制器采集接收服务器组的状态，并根据采集的状态建立接收队列表，接收队列表内保存各个接收服务器的工作状态和繁忙程度；

所述中央控制器以循环的方式侦测发送队列表，并依据接收队列表记录的数据控制数据的传输；

中央控制器内设置数据冗余判断模块：数据冗余判断模块与接收服务器连接和数据采集服务器连接，对数据采集服务器采集的数据进行冗余判断，若接收服务器内保存的数据如数据采集服务器采集的数据相同则将相同的数据丢弃；

中央控制器内设置电力控制模块，电力控制模块根据接收队列表保存的接收服务器的状态和发送队列表的数据类别控制相应空闲的接收服务器处于待机状态；

数据采集服务器内设置数据筛选模块，数据筛选模块对采集的数据进行筛选，将无用的数据筛选出去。

本发明的技术方案具有以下有益效果：

本发明的技术方案，在前期对数据进行分类，并在发送服务器中建立发送队列表，中央控制器对发送队列表进行循环侦测，直到保存数据正确发送到接收服务器，从而达到防止数据丢失的目的。

具体实施方式

一种网络信息处理平台，包括，

数据采集服务器：采集互联网上的数据，并对数据进行初步分类，并将相同类别的数据压缩处理后传输至发送服务器；

发送服务器：接收数据采集服务器发送的数据后，保存接收的数据并按照数据类别和接收时间建立发送队列表；

接收服务器，按照数据类别进行分组，并对接收服务器组进行编号，接收服务器组按照数据分类，不同的接收服务器组只接收同类别的数据，并保存接收的数据；

中央控制器：中央控制器采集接收服务器组的状态，并根据采集的状态建立接收队列表，接收队列表内保存各个接收服务器的工作状态和繁忙程度；

中央控制器以循环的方式侦测发送队列表，并依据接收队列表记录的数据控制数据的传输；

中央控制器内设置数据冗余判断模块：数据冗余判断模块与接收服务器连接和数据采集服务器连接，对数据采集服务器采集的数据进行冗余判断，若接收服务器内保存的数据如数据采集服务器采集的数据相同则将相同的数据丢弃；

中央控制器内设置电力控制模块，电力控制模块根据接收队列表保存的接收服务器的状态和发送队列表的数据类别控制相应空闲的接收服务器处于待机状态。

数据采集服务器内设置数据筛选模块，数据筛选模块对采集的数据进行筛选，将无用的数据筛选出去。

如在电商中将数据简单的分为家电、手机、电脑、办公用品、服装、化妆品和其它。

数据采集服务器将采集的数据按照上述的分类要求进行分类后，发送至发送服务器保存，并建立发送队列表，对应的接收服务器分为家电接收服务器组、手机接收服务器组、电脑接收服务器组、办公用品接收服务器组、服装接收服务器组、化妆品接收服务器组和其它接收服务器组。