[发明专利]文件备份方法、装置、系统、存储介质和计算机设备

说明书

本发明实施例提供的文件备份方法、装置、系统、存储介质和计算机设备的技术方案中，向命令节点发送文件的备份请求，以使命令节点根据备份请求查询出文件中数据块的名称和节点存储地址，并将数据块的名称和节点存储地址发送至备份服务器；根据获取的数据块的数量和备份代理服务器的数量，生成备份代理服务器的工作量；并将数据块的节点存储地址发送至与数据块的名称匹配的备份代理服务器，以使备份代理服务器根据节点存储地址，从与节点存储地址对应的数据节点中获取数据块，将数据块备份至备份介质，能够减小文件备份过程中对命令节点的网络资源消耗，缩短备份时间，提高数据节点的底层输入输出，从而提升整个大数据平台的运行速度。

【技术领域】

本发明涉及互联网领域，尤其涉及一种文件备份方法、装置、系统、存储介质和计算机设备。

【背景技术】

随着信息技术的高速发展，大数据与我们的生活关联越来越紧密，对我们的影响也越来越大。在非结构化数据急速增长的趋势下，很多企业都搭建了自己的大数据平台，这些大数据平台大多基于分布式系统基础架构(Hadoop)，比如互联网企业BAT、华为、Google、各大运营商和各地的政务系统。但是天灾或人为因素可能导致大数据平台毁坏而长期无法运行，如果没有采取有效的数据备份和数据恢复手段与措施，就会导致数据的丢失，有时造成的损失是无法弥补与估量的。

Hadoop本身带有冗余架构，可实现多份文件放在不同的服务器上，对其可靠性有了很大的保障，但是这种保护机制无法解决人为误操作和历史文件的追溯等问题，因此对基于Hadoop的大数据平台进行文件备份的重要性是不言而喻的。

大数据平台的传统文件备份方法主要是在备份服务器上部署Hadoop客户端，通过Hadoop客户端访问命令节点(Namenode)获取文件至备份介质上。但是该文件备份方法对命令节点(Namenode)的网络资源消耗大，备份时间过长，降低部分数据节点(Datenode)的底层输入输出，从而影响整个大数据平台的运行。

【发明内容】

有鉴于此，本发明实施例提供了一种文件备份方法、装置、系统、存储介质和计算机设备，能够解决传统文件备份方法对命令节点的网络资源消耗大，备份时间过长，降低部分数据节点的底层输入输出，从而影响整个大数据平台的运行的问题。

第一方面，本发明实施例提供了一种文件备份方法，所述方法包括：

向命令节点发送文件的备份请求，所述文件包括至少一个数据块，所述备份请求包括所述文件的名称，以使所述命令节点根据所述文件的名称查询出所述文件中所述数据块的名称以及所述数据块的节点存储地址，并将所述数据块的名称和所述数据块的所述节点存储地址发送至所述备份服务器；

根据获取的所述数据块的数量和备份代理服务器的数量，生成所述备份代理服务器的工作量；

根据所述备份代理服务器的工作量，将所述数据块的名称与不同的备份代理服务器匹配，并将所述数据块的所述节点存储地址发送至与所述数据块的名称匹配的所述备份代理服务器，以使所述备份代理服务器根据所述节点存储地址，从与所述节点存储地址对应的数据节点中获取所述数据块，将所述数据块备份至备份介质。

另一方面，本发明实施例提供了一种文件备份方法，所述方法包括：

备份服务器向命令节点发送文件的备份请求，所述文件包括至少一个数据块，所述备份请求包括所述文件的名称；

所述命令节点根据所述文件的名称查询出所述文件中所述数据块的名称以及所述数据块的节点存储地址，并将所述数据块的名称和所述数据块的所述节点存储地址发送至所述备份服务器；

所述备份服务器根据获取的所述数据块的数量和备份代理服务器的数量，生成所述备份代理服务器的工作量；