[发明专利]一种数据处理的方法、系统、协处理装置和主处理装置

说明书

本发明实施例涉及大数据领域，公开了一种数据处理的方法、系统、协处理装置和主处理装置。本发明中的方法，应用于协处理装置，包括：接收主处理装置发送的处理请求、第一数据以及位置信息数据，其中，第一数据是由主处理装置对第二数据进行序列化处理后得到；根据位置信息数据，确定第一数据中每个待处理元素在存储空间中的位置；按照确定的每个待处理元素在存储空间中的位置，同时从存储空间中读取第一数据中的每个待处理元素；根据处理请求，对读取的每个待处理元素进行处理，并将处理结果传输至主处理装置。本发明的数据处理的方法，提高主处理装置与协处理装置之间的数据交换的速度，提高主处理装置对协处理装置的利用率。

技术领域

本发明实施例涉及大数据领域，特别涉及一种数据处理的方法、系统、协处理装置和主处理装置。

背景技术

随着分布式系统基础架构（如：海杜普，简称“Hadoop”）技术的出现，大数据技术被广泛运用。大数据是将计算资源与数据资源分发到不同的计算设备上进行计算，并利用处理器的多线程技术，和多个主机组成的集群计算能力，实现强大的计算和存储功能。

当今大数据技术被广泛应用，对于速度的需求不断增加，除了CPU芯片性能在不断提升之外，还可以利用协处理芯片帮助CPU芯片处理数据。以现场可编程门阵列（Field－Programmable Gate Array，简称“FPGA”）芯片和图形处理器（Graphics Processing Unit，简称“GPU”）芯片作为其中的代表。其中，GPU芯片普遍用于图像的3D加速计算，如今经历了深度学习的兴起，俨然成为深度学习方面的主要加速处理器。

协处理器芯片，一般拥有独立于CPU芯片的内存区域，通过对自己内存区域的数据操作，获得计算所需要的数据，并利用自身的内存区域存储结果。通过总线通信，协处理器芯片的内存空间与CPU芯片的内存空间可以进行数据交换。

通常大数据引擎包括多台设备，每台设备包括一个主处理芯片和至少一个协处理芯片。发明人发现现有技术中至少存在如下问题：目前的主处理芯片与协处理芯片进行数据交换的速度非常慢，同时协处理芯片处理主处理芯片发送的数据非常耗时，完全失去了协处理芯片帮助主处理芯片处理数据的意义。

可见，如何利用协处理芯片提高主处理器处理数据的速度和效率，提高主处理芯片与协处理芯片之间的数据交换的速度，是需要解决的问题。

发明内容

本发明实施方式的目的在于提供一种数据处理的方法、系统、协处理装置和主处理装置，提高主处理装置与协处理装置之间的数据交换的速度，提高主处理装置对协处理装置的利用率。

为解决上述技术问题，本发明的实施方式提供了一种数据处理的方法，应用于协处理装置，包括：接收主处理装置发送的处理请求、第一数据以及位置信息数据，其中，第一数据是由主处理装置对第二数据进行序列化处理后得到；根据位置信息数据，确定第一数据中每个待处理元素在存储空间中的位置；按照确定的每个待处理元素在存储空间中的位置，同时从存储空间中读取第一数据中的每个待处理元素；根据处理请求，对读取的每个待处理元素进行处理，并将处理结果传输至主处理装置。

本发明的实施方式还提供了一种数据处理的方法，包括：应用于主处理装置，包括：确定第一数据，并在确定第一数据的过程中，构建第一数据的位置信息数据，其中，第一数据是对第二数据进行序列化处理后得到；将处理请求、第一数据以及位置信息数据发送至协处理装置，其中，协处理装置将处理后的处理结果返回主处理装置；接收所述处理结果；根据处理结果，确定第二数据的处理结果。

本发明的实施方式还提供了一种协处理装置，包括：至少一个处理装置；以及，与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行上述的应用于协处理装置的数据处理的方法。