[发明专利]分布式系统的数据处理方法、装置及存储介质

说明书

本公开涉及分布式系统的数据处理方法、装置及存储介质。该方法包括：客户端在接收到基于第一分布式系统的数据处理请求时，生成远程过程调用消息；客户端将远程过程调用消息发送至服务端；服务端将远程过程调用消息转换为基于第二分布式系统的数据处理请求；服务端通过第二分布式系统对基于第二分布式系统的数据处理请求进行数据处理，得到数据处理结果；服务端向客户端返回数据处理结果；客户端根据数据处理结果向发起数据处理请求的应用进行响应。

技术领域

本公开涉及计算机技术领域，尤其涉及一种分布式系统的数据处理方法、装置及存储介质。

背景技术

HDFS(Hadoop Distributed File System，Hadoop分布式文件系统)是被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统，是非云的存储系统。如何在不引入其他框架、不增加外部依赖的前提下使HDFS等第一分布式系统与第二分布式系统对接适配，并保障第二分布式系统的内网安全，是亟待解决的问题。

发明内容

有鉴于此，本公开提出了一种分布式系统的数据处理方法、装置及存储介质。

根据本公开的第一方面，提供了一种分布式系统的数据处理方法，所述方法包括：

客户端在接收到基于第一分布式系统的数据处理请求时，根据所述基于第一分布式系统的数据处理请求，生成远程过程调用消息；

所述客户端将所述远程过程调用消息发送至服务端；

所述服务端接收来自于所述客户端的远程过程调用消息；

所述服务端将所述远程过程调用消息转换为基于第二分布式系统的数据处理请求；

所述服务端通过所述第二分布式系统对所述基于第二分布式系统的数据处理请求进行数据处理，得到数据处理结果；

所述服务端向所述客户端返回所述数据处理结果；

所述客户端根据所述数据处理结果向发起所述数据处理请求的应用进行响应。

在一种可能的实现方式中，根据所述基于第一分布式系统的数据处理请求，生成远程过程调用消息，包括：

从所述基于第一分布式系统的数据处理请求中提取文件系统的接口信息；

根据所述文件系统的接口信息，生成所述远程过程调用消息。

在一种可能的实现方式中，所述第一分布式系统为Hadoop分布式文件系统HDFS；

所述远程过程调用消息基于所述HDFS的远程过程调用协议生成。

在一种可能的实现方式中，所述客户端将所述远程过程调用消息发送至服务端，包括：

所述客户端通过所述第一分布式系统的远程过程调用框架将所述远程过程调用消息发送至所述服务端。

在一种可能的实现方式中，所述服务端接收来自于所述客户端的远程过程调用消息，包括：

所述服务端通过所述第一分布式系统的标准远程过程调用框架或者私有远程过程调用框架接收来自于客户端的远程过程调用消息；

所述服务端向所述客户端返回所述数据处理结果，包括：

所述服务端通过所述第一分布式系统的标准远程过程调用框架或者私有远程调用框架向所述客户端返回所述数据处理结果。

在一种可能的实现方式中，所述服务端将所述远程过程调用消息转换为基于第二分布式系统的数据处理请求，包括：

所述服务端解析所述远程过程调用消息，得到所述远程过程调用信息中的文件系统的接口信息；