[发明专利]数据包上传方法、客户端、节点、信息服务器及系统

说明书

本发明公开了一种数据包上传方法，属于计算机领域。所述方法包括：将一数据包上传到存储流水线，所述存储流水线包含有至少两个节点，其中第一个节点为主节点，其余节点为从节点；接收所述主节点返回的上传失败响应或上传成功响应；若接收到所述上传成功响应，则继续上传下一数据包，否则，重新建立存储流水线并将所述数据包上传到所述重新建立的存储流水线。本发明通过上传数据包后接收主节点返回的上传成功响应或上传失败响应，若接收到上传失败响应，则重新建立存储流水线，解决了现有技术中数据包上传过程中无法中止的问题，达到降低数据恢复过程复杂度的目的。

技术领域

本发明涉及计算机领域，特别涉及一种数据包上传方法、客户端、节点、信息服务器及系统。

背景技术

分布式文件系统是指文件系统管理的物理存储资源存储在不同的节点上，各节点通过计算机网络相连，其在工业界的应用非常广泛。在分布式文件系统中，为了保证数据的安全性，往往在上传文件时，将文件分成一至多个文件块，并为每个文件块保存多个副本，每个副本保存在不同的节点上，上传文件时，可以将文件块分成一至多个数据包，并将数据包依次上传到各个节点。

以HDFS（Hadoop Distributed File System，Hadoop分布式文件系统）为例，现有的数据包上传方法如下：首先，客户端获取节点列表，并根据该节点列表生成存储流水线，其中，存储流水线上的第一个节点为主节点，其他后续节点均为从节点；其次，客户端将数据包依次发送到建立的存储流水线上，对于同一个数据包，节点按照各自在流水线上的顺序依次存储该数据包的副本。请参见图1所示的数据包上传流程图，其展示了一个文件块的5个数据包在3个节点上的存储过程。其中粗斜线代表数据包，细斜线代表建立和关闭流水线的控制消息，虚斜线代表数据包的回应消息，垂直方向的粗箭头代表客户端以及三个节点。t0到t1是流水线建立阶段；t1到t2是数据包上传阶段，其中t1发送第一个数据包，t2收到最后一个数据包的响应，其中，发送数据包时，不需要等待上一个数据包的响应即可以发送下一个数据包，客户端可以配置已发送到流水线但是还没有收到回应的数据包总数；t2到t3是流水线关闭阶段。

在实现本发明的过程中，发明人发现现有技术至少存在以下问题：

现有的数据包上传方法，当流水线上某一个从节点发生错误，比如某一从节点崩溃时，客户端上传数据包的过程不会中止，因而会造成存储流水线上各节点之间数据不一致的情况，此时，存储流水线重建过程较为复杂，系统复杂度较高。

发明内容

为了解决现有技术中数据恢复较为复杂的问题，本发明实施例提供了一种数据包上传方法、客户端、节点、信息服务器及系统。所述技术方案如下：

一方面，提供了一种数据包上传方法，所述方法包括：

将一数据包上传到存储流水线，以便所述存储流水线上的主节点和各从节点将所述数据包的副本轮流写入各自本地存储的所述数据包对应的文件块副本，所述存储流水线包含有至少两个节点，其中第一个节点为主节点，其余节点为从节点；

接收所述主节点返回的上传失败响应或上传成功响应；

若接收到所述上传成功响应，则继续上传下一数据包，否则，重新建立存储流水线并将所述数据包上传到所述重新建立的存储流水线。

另一方面，提供了一种数据包上传方法，所述方法包括：

接收客户端上传的数据包，将所述数据包的副本写入本地存储的所述数据包对应的文件块副本，并更新所述文件块副本的状态信息；

将所述数据包发送给存储流水线上的一至多个从节点，并接收所述一至多个从节点发送的对所述数据包的响应，所述对所述数据包的响应中携带有所述一至多个从节点本地存储的所述数据包对应的文件块副本的状态信息；