[发明专利]互联网大数据处理系统

说明书

技术领域

本发明涉及计算机领域，具体地，涉及一种互联网大数据处理系统。

背景技术

目前，随着计算机技术和互联网的发展，许多政府和企业都在进行大数据的建设，而大数据建设对企业的发展方向，政府的管理水平和服务方式的改进都起到非常重要的作用，但现有的大数据处理中，往往是将数据都集中到一起后，再进行分类，造成后期工作量大，因数据量巨大，造成接收数据时网络堵塞，从而存在数据丢失的问题。

发明内容

本发明的目的在于，针对上述问题，提出一种互联网大数据处理系统，以实现防止数据丢失的优点。

为实现上述目的，本发明采用的技术方案是：

一种互联网大数据处理系统，包括，

数据采集服务器：采集互联网上的数据，并对数据进行初步分类，并将相同类别的数据压缩处理后传输至发送服务器；

发送服务器：接收数据采集服务器发送的数据后，保存接收的数据并按照数据类别和接收时间建立发送队列表；

接收服务器，按照数据类别进行分组，并对接收服务器组进行编号，接收服务器组按照数据分类，不同的接收服务器组只接收同类别的数据，并保存接收的数据；

中央控制器：中央控制器采集接收服务器组的状态，并根据采集的状态建立接收队列表，接收队列表内保存各个接收服务器的工作状态和繁忙程度；

所述中央控制器以循环的方式侦测发送队列表，并依据接收队列表记录的数据控制数据的传输；

中央控制器内设置数据冗余判断模块：数据冗余判断模块与接收服务器连接和数据采集服务器连接，对数据采集服务器采集的数据进行冗余判断，若接收服务器内保存的数据如数据采集服务器采集的数据相同则将相同的数据丢弃。

本发明的技术方案具有以下有益效果：

本发明的技术方案，在前期对数据进行分类，并在发送服务器中建立发送队列表，中央控制器对发送队列表进行循环侦测，直到保存数据正确发送到接收服务器，从而达到防止数据丢失的目的。

具体实施方式

一种互联网大数据处理系统，包括，

数据采集服务器：采集互联网上的数据，并对数据进行初步分类，并将相同类别的数据压缩处理后传输至发送服务器；

发送服务器：接收数据采集服务器发送的数据后，保存接收的数据并按照数据类别和接收时间建立发送队列表；

接收服务器，按照数据类别进行分组，并对接收服务器组进行编号，接收服务器组按照数据分类，不同的接收服务器组只接收同类别的数据，并保存接收的数据；

中央控制器：中央控制器采集接收服务器组的状态，并根据采集的状态建立接收队列表，接收队列表内保存各个接收服务器的工作状态和繁忙程度；

中央控制器以循环的方式侦测发送队列表，并依据接收队列表记录的数据控制数据的传输；

中央控制器内设置数据冗余判断模块：数据冗余判断模块与接收服务器连接和数据采集服务器连接，对数据采集服务器采集的数据进行冗余判断，若接收服务器内保存的数据如数据采集服务器采集的数据相同则将相同的数据丢弃。

如在电商中将数据简单的分为家电、手机、电脑、办公用品、服装、化妆品和其它。

数据采集服务器将采集的数据按照上述的分类要求进行分类后，发送至发送服务器保存，并建立发送队列表，对应的接收服务器分为家电接收服务器组、手机接收服务器组、电脑接收服务器组、办公用品接收服务器组、服装接收服务器组、化妆品接收服务器组和其它接收服务器组。

家电接收服务器组只接收家电类的数据、化妆品接收服务器组至接收化妆品的数据。如发送服务器发送的数据类别和顺序为家电1、手机1、电脑1、办公用品1、服装1、家电2、家电3和办公用品1，发送队列表按照该顺序建立，中央控制器以循环的方式侦测发送队列表后，首先调取接收队列表的记录，如接收队列表内显示家电接收服务器组正常，可以接收数据，中央控制器控制发送服务器将家电1的数据发送到家电接收服务器，同理将手机1、电脑1、办公用品1和服装1按照顺序发送，发送家电2数据时，如家电接收服务器的通道被堵塞，中央控制器往下顺延，发送下一个数据，如办公用品1，发送完办公用品1后，中央控制器从新侦测发送队列表，至到发送队列表内的数据都发送完毕，再进行下一轮数据的发送。

接收服务器接收到相应数据后，给中央控制器发送一个反馈信号，中央控制器接收到反馈信号后，控制发送服务器，将发送服务器内相应的数据删除。

最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。