[发明专利]数据处理方法、装置、电子设备和计算机存储介质

说明书

本发明提出了一种数据处理方法、装置、电子设备和计算机存储介质，该方法包括：在接收FTP客户端发送的数据传输指令后，确定已注册的各个数据传输进程，每个数据传输进程表示实现所述FTP客户端与分布式文件系统DFS之间的数据交互的进程，所述已注册的数据传输进程的进程数大于1；控制所述已注册的各个数据传输进程中的至少一个数据传输进程，进行所述FTP客户端与分布式文件系统DFS之间的数据交互。如此，服务器端可以通过多个数据传输进程实现FTP客户端与DFS的数据交互，有利于解决相关技术中单个FTP服务器的资源有限的问题，可以适用于大规模数据传输的场景。

技术领域

本发明涉及数据传输技术，尤其涉及一种数据处理方法、装置、电子设备和计算机存储介质，可以应用于分布式文件系统(Distributed File System，DFS)的数据读写。

背景技术

在相关技术中，随着云计算和大数据技术的不断发展，越来越多的企业需要使用DFS对海量的数据进行存储，并利用一些计算框架(如tez，mapreduce，spark，flink)对这些数据进行分析、处理和加工；例如，DFS可以是Hadoop分布式文件系统(Hadoop DistributedFile System，HDFS)、Ceph分布式文件系统、GFS(Google File System)分布式文件系统或Lustre文件系统；计算框架可以是Tez、Mapreduce、Spark、Flink等计算框架；一些大数据工具(如Flume工具或Kafka工具)可以快速地将采集到的数据上传到DFS中，但是，这些工具的代码复杂，工具的配置、部署、使用和运维都需要专业的大数据工作人员，即，这些工具的部署和使用都相对复杂；使用文件传输协议(File Transfer Protocol，FTP)服务将数据传输到DFS上，是一种简单高效的方法。

例如，图1为相关技术中使用FTP服务将数据传输到DFS的结构示意图，如图1所示，在相关技术中，HDFS-OVER-FTP服务器是一个基于apache ftp开源的工作于HDFS之上的FTP服务器，HDFS-OVER-FTP封装有HDFS客户端，使HDFS-OVER-FTP服务器可以读写HDFS的文件，从而，允许用户或业务使用任意FTP客户端以及FTP命令访问HDFS；同时，HDFS-OVER-FTP服务器还可以基于kerberos协议进行安全访问并支持HDFS所有的权限设置；综上，只需要使用开启HDFS-OVER-FTP服务器即可实现FTP客户端与HDFS之间的数据传输，HDFS-OVER-FTP服务器的使用方式与linux vsftp服务器的使用方式相同，并且具有使用简单方便的特点

然而，当使用FTP服务将数据传输到DFS时，由于FTP服务器的资源有限，往往难以适应大规模数据传输的场景。

发明内容

本发明期望提供数据处理的技术方案，可以解决由于FTP服务器的资源有限导致难以适应大规模数据传输的场景的问题。

本发明提供了一种数据处理方法，所述方法包括：

在接收FTP客户端发送的数据传输指令后，确定已注册的各个数据传输进程，每个数据传输进程表示实现所述FTP客户端与DFS之间的数据交互的进程，所述已注册的数据传输进程的进程数大于1；

控制所述已注册的各个数据传输进程中的至少一个数据传输进程，进行所述FTP客户端与DFS之间的数据交互。

可选地，所述方法还包括：

存储所述已注册各个数据传输服务进程的连接负载信息；

所述控制所述已注册的各个数据传输进程中的至少一个数据传输进程，进行所述FTP客户端与DFS之间的数据交互，包括：

根据所述已注册各个数据传输服务进程的连接负载信息，在所述已注册的各个数据传输进程中选取数据传输进程，根据选取的数据传输进程，进行所述FTP客户端与DFS之间的数据交互。