[发明专利]数据文件的传输方法及装置

权利要求书

1.一种长宽网络(Long Fat Networks)环境下大数据文件的传输方法，其特征在于，包括：

接收端创建至少两个下载线程，每个下载线程对应一个任务队列，每个所述任务队列与单个大数据文件中不同编号的分块数据相映射，所有所述任务队列中映射的分块数据组合后为所述单个大数据文件；

所述接收端启动所有所述下载线程进行并发下载，每个所述下载线程从发送端独立下载各自对应的任务队列中的分块数据，并将下载的分块数据写入缓冲队列；

所述接收端同时启动一个并行单线程，所述并行单线程依次获取缓冲队列中编号为i的分块数据，并对所述编号为i的分块数据进行满足有序迭代性的数据完整性校验，得到编号为i的分块数据和之前的所有分块数据有序组合后的数据完整性校验值，所述i的取值顺序为根据分块编号从小到大的顺序；

所述接收端将所述编号为i的分块数据写入目标文件，并将所述编号为i的分块数据从所述缓冲队列中删除。

2.根据权利要求1所述的方法，其特征在于，所述对所述编号为i的分块数据进行满足有序迭代性的数据完整性校验，得到编号为i的分块数据和之前的所有分块数据有序组合后的数据完整性校验值具体为：

根据f(i)＝f(i-1)->h(Block(i))对所述编号为i的分块数据进行满足有序迭代性的数据完整性校验，得到编号为i的分块数据和之前的所有分块数据有序组合后的数据完整性校验值，其中，所述f(i)为编号为i的分块数据和之前的所有分块数据有序组合后的数据完整性校验值，即f(i)＝g(Block0+Block1…Block(i))，Block0为编号为0的分块数据，Block1为编号为1的分块数据，Block(i)为编号为i的分块数据，g表示校验算法，h表示叠加算法，f(i-1)->h(Block(i))表示在f(i-1)的值上以编号为i的分块数据为参数执行h算法。

3.根据权利要求1所述的方法，其特征在于，所述接收端按照FTP协议或者HTTP协议从所述发送端通过多线程接收数据。

4.一种长宽网络(Long Fat Networks)环境下大数据接收端，其特征在于，包括：

创建单元，用于创建至少两个下载线程，每个下载线程对应一个任务队列，每个所述任务队列与单个大数据文件中不同编号的分块数据相映射，所有所述任务队列中映射的分块数据组合后为所述单个大数据文件；

并发下载单元，用于启动所有所述下载线程进行并发下载，每个所述下载线程从发送端独立下载各自对应的任务队列中的分块数据，并将下载的分块数据写入缓冲队列；

校验单元，用于同时启动一个并行单线程，所述并行单线程依次获取缓冲队列中编号为i的分块数据，并对所述编号为i的分块数据进行满足有序迭代性的数据完整性校验，得到编号为i的分块数据和之前的所有分块数据有序组合后的数据完整性校验值，所述i的取值顺序为根据分块编号从小到大的顺序；

重组单元，用于所述接收端将所述编号为i的分块数据写入目标文件，并将所述编号为i的分块数据从所述缓冲队列中删除。

5.根据权利要求4所述的接收端，其特征在于，所述校验单元具体根据f(i)＝f(i-1)->h(Block(i))对所述编号为i的分块数据进行满足有序迭代性的数据完整性校验，得到编号为i的分块数据和之前的所有分块数据有序组合后的数据完整性校验值，其中，所述f(i)为编号为i的分块数据和之前的所有分块数据有序组合后的数据完整性校验值，即f(i)＝g(Block0+Block1…Block(i))，Block0为编号为0的分块数据，Block1为编号为1的分块数据，Block(i)为编号为i的分块数据，g表示校验算法，h表示叠加算法，f(i-1)->h(Block(i))表示在f(i-1)的值上以编号为i的分块数据为参数执行h算法。

6.根据权利要求4所述的接收端，其特征在于，所述接收端按照FTP协议或者HTTP协议从所述发送端通过多线程接收数据。