[发明专利]一种数据传输方法、装置和系统

说明书

本发明公开了一种数据传输方法、装置和系统，用以解决当出现节点异常时，数据传输过程耗时较长的问题。方法包括：当存在待传输的数据时，将待传输的数据划分为至少一个数据块；针对每个数据块，基于冗余规则，将该数据块确定为第一数量的子数据块，第一数量为接收数据的节点的数量；依次针对每个数据块，根据服务器发送的接收数据的每个第一节点的标识信息，将该数据块对应的每个子数据块向对应的每个第一节点进行传输；针对每个数据块，统计传输该数据块对应的每个子数据块至对应的每个第一节点的传输时长；采用预设的方法，当确定存在异常节点时，停止向异常节点传输数据。因此当节点异常时，可以减小传输所有数据的时长，提高了系统性能。

技术领域

本发明涉及技术数据传输领域，特别涉及一种数据传输方法、装置和系统。

背景技术

数据量的爆发式增长，导致云存储越来越普及，数据的可靠性面临考验，随之而来的纠删码(Erasure Code)的出现，在一定程度上解决了数据的可靠性。基于纠删码的云存储系统，当考虑到数据的可靠性时，客户端往往需要保证数据传输至不同的存储节点。

在现有技术中，当客户端识别当前存在待传输的数据时，先根据预先确定的条带单位，将待传输的数据分为至少一个数据块，每个数据块占用的存储容量相同；然后基于冗余规则，以及预先确定的存储数据的节点的第一数量，将每个数据块确定为第一数量的子数据块，每个子数据块占用的存储容量相同；最后，依次针对每个数据块，将该数据块对应的每个子数据块依次传输至对应的存储节点；每个存储节点在每次接收到对应的子数据块后，会向客户端返回响应信息，客户端再进行下一次的传输。

一般情况下，存储节点向客户端返回响应信息的时间差不多是相同的，以客户端将每个数据块对应的子数据块传输至不同的存储节点的传输时长来表示系统的性能，当出现某个存储节点处于异常状态时，将子数据块传输至该存储节点的传输时长就会较大，则客户端所在的终端向存储节点传输数据的过程耗时较长，降低了传输系统的性能。

发明内容

本发明实施例公开了一种数据传输方法、装置和系统，用以解决现有技术中的当出现存储节点异常时，数据传输过程耗时较长，传输系统的性能较差的问题。

为达到上述目的，本发明实施例公开了一种数据传输方法，所述方法包括：

当识别到存在待传输的数据时，将待传输的数据划分为至少一个数据块；并针对每个数据块，基于冗余规则，将该数据块确定为第一数量的子数据块，其中，所述第一数量为预先确定的接收数据的节点的数量；

依次针对每个数据块，根据服务器发送的接收数据的每个第一节点的标识信息，将该数据块对应的每个子数据块向对应的每个第一节点进行传输；

针对每个数据块，统计传输该数据块对应的每个子数据块至对应的每个第一节点的传输时长；采用预设的异常传输时长的确定方法，确定是否存在异常节点；如果是，则停止向异常节点传输数据。

进一步地，在将数据块确定为第一数量的子数据块时，所述方法还包括：

基于冗余规则，以及根据所述第一数量，确定能够停止向其传输数据的异常节点的第二数量，并保存；

在停止向异常节点传输数据之前，所述方法还包括：

判断当前确定的异常节点的第三数量是否大于保存的所述第二数量；

如果是，则根据每个异常节点对应的传输时长，在第三数量的异常节点中选取第二数量的目标异常节点，根据第二数量的目标异常节点，进行后续步骤，并对所述第二数量进行更新；

如果否，则直接进行后续步骤，并对所述第二数量进行更新。

进一步地，所述采用预设的异常传输时长的确定方法，确定是否存在异常节点包括：