[发明专利]数据处理方法、设备、系统及存储介质

说明书

本申请实施例提供一种数据处理方法、设备、系统及存储介质。在本申请实施例中，计算存储分离，方便存储资源扩容，有利于实现存储资源池化，另外利用存储节点的处理能力，将计算节点的部分计算逻辑卸载到存储节点进行处理，可在最靠近数据的地方进行计算，有利于减少不必要的数据搬移，能极大地提升数据处理效率，降低访问时延，进而降低计算节点访问存储资源的代价。

技术领域

本申请涉及数据存储技术领域，尤其涉及一种数据处理方法、设备、系统及存储介质。

背景技术

随着大数据和云计算的兴起，应用环境中需要处理大数据的场景越来越多，因此以计算存储分离为代表的分布式存储逐渐成为了云计算的一个底层基础设施。存储资源和计算资源解耦，方便存储资源扩容，有利于实现存储资源池化的目的。

但是存储资源和计算资源的分离，造成的一个弊端是计算节点访问存储资源的代价变大了，访问时延更高，相比本地存储资源的访问，可能增加一倍或者更多的延迟开销。

发明内容

本申请的多个方面提供一种数据处理方法、设备、系统及存储介质，用以降低计算节点访问存储资源的代价，降低延迟开销。

本申请实施例提供一种存储节点，通过网络与计算节点通信，所述存储节点包括：存储介质、一个或多个处理器以及通信组件；所述存储介质，用于存储数据和计算机程序；所述一个或多个处理器，用于执行所述计算机程序，以用于：通过所述通信组件接收所述计算节点发送的数据访问请求，所述数据访问请求包括数据地址信息和计算任务信息；根据所述数据地址信息从所述存储介质中读取计算所需的数据，并根据所述计算任务信息对所读取的数据进行计算处理；以及通过所述通信组件将计算结果返回给所述计算节点。

本申请实施例提供一种计算节点，通过网络与存储节点通信，所述计算节点包括：存储介质、一个或多个处理器以及通信组件；所述存储介质，用于存储计算机程序；所述一个或多个处理器，用于执行所述计算机程序，以用于：根据应用的计算需求，生成数据访问请求；其中，所述数据访问请求包括数据地址信息和计算任务信息；通过所述通信组件将所述数据访问请求传输给所述存储节点，以供所述存储节点根据所述数据地址信息从其存储介质中读取计算所需的数据，并根据所述计算任务信息对所读取的数据进行计算处理；以及接收所述存储节点返回的计算结果。

本申请实施例提供一种数据处理系统，包括：计算节点和存储节点，所述计算节点与所述存储节点通过网络进行通信；

所述计算节点，用于根据应用的计算需求，生成数据访问请求，将所述数据访问请求传输给所述存储节点，以及接收所述存储节点返回的计算结果；其中，所述数据访问请求包括数据地址信息和计算任务信息；

所述存储节点，用于接收所述数据访问请求，根据所述数据访问请求中的数据地址信息从其存储介质中读取计算所需的数据，根据所述数据访问请求中的计算任务信息对所读取的数据进行计算处理，并将计算结果返回给所述计算节点。

本申请实施例提供一种数据处理方法，适用于计算节点，该方法包括：根据应用的计算需求，生成数据访问请求；其中，所述数据访问请求包括数据地址信息和计算任务信息；将所述数据访问请求传输给存储节点，以供所述存储节点根据所述数据地址信息从其存储介质中读取计算所需的数据，并根据所述计算任务信息对所读取的数据进行计算处理；以及接收所述存储节点返回的计算结果；其中，所述计算节点与所述存储节点通过网络进行通信。

本申请实施例还提供一种数据处理方法，适用于存储节点，该方法包括：接收计算节点发送的数据访问请求，所述数据访问请求包括数据地址信息和计算任务信息；根据所述数据地址信息从所述存储介质中读取计算所需的数据，并根据所述计算任务信息对所读取的数据进行计算处理；以及将计算结果返回给所述计算节点；其中，所述存储节点与所述计算节点通过网络进行通信。