[发明专利]一种数据处理的方法及装置

说明书

根据本发明的一些实施例，提供一种数据处理装置，所述数据处理装置包括以电子方式耦合到主处理器的前端接口。所述前端接口用于接收存储在存储库，具体地说，存储在外部存储装置和/或网络中的数据。所述前端接口用于通过分析表示所述数据的存取参数来确定所述数据是单存取数据还是多路存取数据。所述前端接口用于路由所述多路存取数据以供所述主处理器进行处理。所述前端接口用于路由所述单存取数据以供所述前端接口进行预处理并将所述预处理的结果路由到所述主处理器。

技术领域

本申请涉及大数据应用领域，尤其涉及一种数据处理的方法及装置。

背景技术

本发明在其一些实施例中涉及一种计算机化装置，并且更确切地说，但非排他地，涉及一种用于执行数据处理应用的计算机化装置。

在现代计算机系统中，数据处理应用在包括标准计算机架构的计算机系统上执行。当数据处理应用一直持续地分析更大数据集，例如大数据应用时，计算机系统正得到改进以满足所述应用和较大数据集的需要。如本文所使用，术语“大数据”是指太大而不能使用传统的数据处理方法和计算机进行处理的数据的任何集合。例如，通过数据处理应用分析超过百万兆字节的数据以确定市场趋势。执行大数据应用的典型计算机系统可并入有64千兆字节的随机存取存储器。

下文描述了大数据应用中的传统计算机和数据流。现在参考图1A，图1A是目前的计算机组件和互连的示意性说明。主中央处理器和/或处理单元111(central processorand/or processing unit，CPU)使用计算机存储器112、使用直接存储器存取(directmemory access，DMA)接口、前端总线等等来执行数据处理应用。如本文所使用，术语“处理单元和/或处理器”是指计算机、计算机化设备、计算机化装置等等的处理器。如本文所使用，术语“中央处理器”是指执行计算机程序的指令的主要电子集成电路，例如主处理器、中央处理单元、多核中央处理器等等。CPU 111例如使用直接媒体接口连接到平台输入和/或输出(input and/or output，IO)控制器中心113。例如，CPU是处理器、处理器、高级微设备公司Opteron^TM处理器、zEC12处理器等等。平台IO控制器中心113连接到计算机外围设备，例如硬盘、网络接口、键盘、鼠标等等。

大数据应用从硬盘和/或网络接口传递将存储在计算机主存储器中的大量数据，并将所述数据从主存储器传递到CPU以进行预处理和分析。

现在参考图1B和图1C，图1B和图1C分别是示出数据简化步骤的数据处理应用中的标准数据流级和标准流程图的示意性说明。数据流架构包括三个级：IO级403，其中从存储库中接收大数据406，例如百万兆字节的数据；存储器级402，其中大数据406存储在主存储器中；以及CPU级401，用于进行预处理和分析。CPU级401将过滤和聚合过程404应用到大数据406，以提取较小数据集407，例如大小为兆字节的数据集。对较小数据集407进行分析405以产生在存储器级402期间存储于存储器中的结构化数据集和/或结果408。可在IO级期间将结构化数据集和结果408发送到用户和/或计算机设备以进行进一步处理。可再次对结果408进行预处理404A和分析405A，从而产生较小数据集408A，例如大小减少到千字节数据的数据集。标准计算机架构的CPU使用计算机主存储器执行预处理和处理两者。

发明内容

本发明的实施例的目标是高效地执行大数据处理应用。这个目标通过本申请的独立权利要求解决且从属权利要求保护其它的实施形式。

根据本发明的一些实施例，提供一种数据处理装置，所述数据处理装置包括以电子方式耦合到主处理器的前端接口。前端接口用于接收存储在存储库，具体地说，存储在外部存储装置和/或网络中的数据。前端接口用于通过分析表示数据的存取参数来确定数据是单存取数据还是多路存取数据。前端接口用于路由多路存取数据以供主处理器进行处理。前端接口用于路由单存取数据以供前端接口进行预处理并将预处理的结果路由到主处理器。