[发明专利]跨平台大型数据处理分载系统及方法

说明书

技术领域

本发明涉及跨平台大型数据处理技术领域，更具体地涉及一种跨平台大型数据处理分载系统及方法。

背景技术

当前对跨平台的大型数据处理，往往是采用单一的中央服务器进行数据分析及取样等。但这样的数据处理方式存在以下缺陷：（1）在这个信息日益增长的时代，当中央服务器需要处理更多的数据时，必然需要高性能的中央服务器；（2）在对数据进行分析及取样前，必须保证数据的结构、格式的一致性，但中央服务器接收来自各种不同平台的大型数据，由于各平台的数据多数情况下存在结构、格式等方面的不一致性问题，从而加重了中央服务器的负担，且极易造成中央服务器无法及时处理完所有需要处理的数据，严重时甚至会造成数据的丢失等，从而大大地降低了对大型数据的处理能力及分析的准确性。

因此，急需一种改进的跨平台大型数据处理分载系统及方法来克服上述缺陷。

发明内容

本发明的目的是提供一种跨平台大型数据处理分载系统，该系统无需高性能的中央服务器，且能减轻中央服务器的负担，提高中央服务器对大型数据的处理能力及分析的准确性。

本发明的另一目的是提供一种跨平台大型数据处理分载方法，该方法无需高性能的中央服务器，且能减轻中央服务器的负担，提高中央服务器对大型数据的处理能力及分析的准确性。

为实现上述目的，本发明提供了一种跨平台大型数据处理分载系统，包括：

至少两个前处理终端，每一所述前处理终端接收来自一平台的大型数据，所述前处理终端对所述大型数据进行转换以传送；以及

一中央服务器，接收所述前处理终端所传送的转换后的所述大型数据，并对转换后的所述大型数据进行分析、取样。

与现有技术相比，本发明跨平台大型数据处理分载系统通过至少两个前处理终端接收来自不同平台的大型数据，并通过前处理终端对大型数据进行转换，使得传送至中央服务器的、来自不同平台的大型数据的格式统一，其均为中央服务器所需要的数据格式，从而无需高性能的中央服务器，减轻了中央服务器的负担，使得中央服务器可以及时地处理完所有需要处理的数据，不会造成数据丢失，进而提高了中央服务器对大型数据的处理能力及分析的准确性。

具体地，每一所述前处理终端具体包括：

接收模块，用于接收来自所述平台的大型数据；

转换模块，用于接收所述接收模块所传送的大型数据、并对所述大型数据进行转换以传送；以及

传送模块，用于传送转换后的所述大型数据至所述中央服务器。

优选地，每一所述前处理终端还包括：

记录模块，用于记录所述平台发送所述大型数据至所述接收模块的历史记录。

相应地，本发明还提供了一种跨平台大型数据处理分载方法，包括：

前处理终端对来自不同平台的大型数据进行转换，以使得所述大型数据的格式为中央服务器所需要的数据格式；

发送转换后的所述大型数据至所述中央服务器；

所述中央服务器接收所述大型数据并对所述大型数据进行分析、取样。

优选地，前处理终端对来自不同平台的大型数据进行转换之前还包括：

至少两个所述前处理终端接收来自至少两个平台的大型数据。

可选地，至少两个所述前处理终端接收来自至少两个平台的大型数据之后还包括：

记录所述平台发送所述大型数据至所述前处理终端的历史记录。

优选地，至少两个所述前处理终端接收来自至少两个平台的大型数据之前还包括：

设置所述中央服务器所需要的数据格式。

通过以下的描述并结合附图，本发明将变得更加清晰，这些附图用于解释本发明的实施例。

附图说明

图1为本发明跨平台大型数据处理分载系统应用时的结构框图。

图2为图1的原理框图。

图3为本发明跨平台大型数据处理分载方法流程图。

具体实施方式

现在参考附图描述本发明的实施例，附图中类似的元件标号代表类似的元件

请参考图1，本发明跨平台大型数据处理分载系统包括多个前处理终端（1,2，。。。。。。n）及一中央服务器，多个前处理终端对应多个平台（1,2，。。。。。。n），且多个前处理终端与多个平台之间一一对应。每一处理终端接收来自每一平台的大型数据，并对大型数据进行转换以传送，中央服务器接收多个前处理终端所传送的转换后的大型数据，并对转换后的大型数据进行分析、取样。

具体地，请参考图2，每一前处理终端包括：

接收模块10，用于接收来自平台的大型数据；