[发明专利]数据处理系统、方法、设备及存储介质

说明书

本申请实施例提供数据处理系统、方法、设备及存储介质。其中，存储集群，部署有分布式文件系统，用于接收计算节点提供的文件句柄编码，并基于所述文件句柄编码执行分布式协议；所述计算节点，其上部署有与分布式文件系统配合工作的转发系统，用于将基于外部设备提供的读写请求确定的所述文件句柄编码发送给所述存储集群。在对目标数据执行分布式数据处理的时候，计算节点只负责数据读写请求的转发，不会占用计算节点的计算资源，能够有效解决计算节点的计算资源竞争问题，以及减轻计算节点与存储集群之间进行数据传输的网络带宽的需求。

技术领域

本申请涉及计算机技术领域，尤其涉及数据处理系统、方法、设备及存储介质。

背景技术

随着云计算技术的快速发展，在分布式系统中，网络速度越来越快，系统的瓶颈不再是网络速度，但是磁盘输入输出性能却没有明显的速度增长，计算和存储融合的架构缺点也逐渐暴露。由于计算和存储耦合的缺点越来越多，并且网络速度越来越快，现在分布式系统的架构又在重新向计算和存储分离技术方向发展。

一般分布式文件系统方案(如HDFS)，为了降低开发成本会把原生即软件开发工具包(Software Development Kit,SDK)直接部署于计算节点上，并直接通过原生SDK为用户提供服务。但是，由于原生SDK包含的分布式协议比较复杂而且会存储多份冗余副本数据，若运行在计算节点上，不仅会出现分布式协议任务与其他计算任务出现CPU和内存竞争，而且所产生的副本数据也消耗大量网络带宽。因此，需要一种能够满足计算存储分离场景中高效的数据读写处理需求的方案。

发明内容

为解决或改善现有技术中存在的问题，本申请各实施例提供了数据处理系统、方法、设备及存储介质。

第一方面，在本申请的一个实施例中，提供了一种数据处理系统。该系统包括：

存储集群，部署有输入输出节点，以及被封装于所述输入输出节点的分布式文件系统，用于接收计算节点提供的文件句柄编码，并基于所述文件句柄编码执行分布式协议；

所述计算节点，其上部署有与分布式文件系统配合工作的转发系统，用于将基于外部设备提供的读写请求确定的所述文件句柄编码发送给所述存储集群。

第二方面，在本申请的一个实施例中，提供了一种数据处理方法。该方法包括：

接收用户发送的读写请求；

根据所述读写请求，确定文件句柄编码；

将所述文件句柄编码发送至存储集群，以便所述存储集群通过自身部署分布式文件系统查找所述文件句柄编码对应的目标数据，并对所述目标数据进行读写操作。

第三方面，在本申请的一个实施例中，提供了一种数据处理方法。所述方法包括：

接收计算节点发送的文件句柄编码；其中，文件句柄编码由所述计算节点基于用户发送的读写请求确定；

根据所述文件句柄编码，确定文件句柄；

通过自身部署分布式文件系统查找所述文件句柄对应的目标数据；

对所述目标数据进行读写操作。

第五方面，在本申请的一个实施例中，提供了一种电子设备，包括存储器及处理器；其中，

所述存储器，用于存储程序；

所述处理器，与所述存储器耦合，用于执行所述存储器中存储的所述程序，以用于实现第二方面所述的一种数据处理方法或第三方面所述的另一种数据处理方法。

第六方面，在本申请的一个实施例中，提供了一种非暂时性机器可读存储介质，所述非暂时性机器可读存储介质上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器执行如第二方面所述的一种数据处理方法或第三方面所述的另一种数据处理方法。