[发明专利]并行数据加载方法和系统

摘要

本发明实施例提供一种并行数据加载方法和系统，通过将待加载的数据存储在FTP服务器中，数据节点从FTP服务器中下载加载文件信息对应的数据块，以FTP服务器文件的形式下载，提高了下载文件的效率，提高了并行数据加载的效率。通过主节点向多个数据节点发送加载指示信息，以使多个数据节点并行加载FTP服务器中存储的数据，通过数据节点主动向服务器请求分配任务的方式，可以使处理能力强的数据节点加载更多的数据块，实现加载任务的按需分配，进一步提高并行数据加载的效率。

主权项

一种并行数据加载方法，其特征在于，所述方法应用于并行数据加载系统，所述系统包括：M个主节点、N个数据节点和R个文件传输协议FTP服务器，其中，所述M为大于等于1的整数，所述N为大于等于2的整数，所述R为大于等于1的整数，所述M个主节点与所述N个数据节点以及所述R个FTP服务器通信连接，所述N个数据节点和所述R个FTP服务器通信连接；所述方法包括：主节点向至少两个数据节点发送加载指示信息，所述加载指示信息用于指示所述至少两个数据节点加载所述FTP服务器中存储的数据；所述主节点接收所述至少两个数据节点发送的任务分配请求信息，所述任务分配请求信息用于请求所述主节点为所述数据节点分配加载文件信息；所述主节点向每个数据节点发送所述数据节点对应的加载文件信息；所述数据节点根据所述加载文件信息从所述FTP服务器下载所述加载文件信息对应的数据块进行加载。