[发明专利]一种基于虚拟共享目录的大数据备份方法

说明书

一种基于虚拟共享目录的大数据备份方法，属于数据备份技术领域，本发明通过在介质服务器上的本地存储，对外提供文件共享协议接口，将建一个虚拟的共享目录，如将该接口提供给需要备份的大数据平台A，那么大数据平台A需要备份时，则在本地挂载该分区，即可得到该虚拟目录的共享权，备份完毕后，断开分区，该分区即可回退到介质服务器，同时向另外的一个存储类服务器提供共享目录服务，通过文件复制，非常简明的实现了大数据文件的备份。

技术领域

本发明属于数据备份技术领域，特别是涉及到一种提升大数据备份效率的大数据备份方法。

背景技术

大数据时代数据的价值更加关键，运行在大数据上的数据的安全性需要的以保障，那么就需要一种较快速、较通用的备份技术来实现各类大数据平台数据备份，并保证备份效率和兼容性。

目前，针对于大数据平台 数据备份的方法一般遵循如下架构，该架构包括如下几部分：备份代理（即agent）、介质服务器、存储介质。

具体实现的细节上可大致分为如下两种：

（1）客户端agent HTTP介质服务器ISCSI存储介质

备份代理安装在待备份端的大数据主机上，将备份数据收集起来，通过网络HTTP协议将数据传输到介质服务器上，介质服务往往单独部署，收集来自于各个备份agent的数据，进行去重和压缩后，通过ISCSI接口将数据传输存储到存储介质上（如disk）。

（2）客户端agent HTTP介质服务器HTTP存储介质

备份代理安装在待备份端的大数据主机上，将备份数据收集起来，通过网络HTTP协议将数据传输到介质服务器上，介质服务单独部署，收集来自于各个备份agent的数据，进行去重和压缩后，通过HTTP接口将数据传输存储到存储介质上（如object storage）。

现有技术（1）中，针对于不同的备份对象都需要对应的采集客户端，并且需要agent将数据从真实数据源（如hadoop namenode），传输到本地一个暂存目录（该主机上），而后再将该目录下的数据通过切块处理（如每次一个64K数据块），继而每个数据块通过HTTP协议传输到介质服务器端，介质服务器接收后，经过一系列的去重和压缩处理后，将通过ISCSI协议将数据通过FC网络传输到专门的存储介质中（如disk），整个过程数据经过4个关键的耗时步骤（即agent本地暂存、本地切换、网络传输到介质服务器、介质服务器网络传输到存储介质），数据备份的效率难以得到保证，而且过多的环节也增大了系统的运行风险。

相比技术（1），不同的是，在数据传输到介质服务器的之后，并非将数据直接通过ISCSI协议传输到存储介质，而是通过HTTP协议再次切块，将数据通过HTTP协议传到对象存储中（object storage中），技术（2）相比技术（1）来说仅仅是后端内存储协议不同，整体的存储效率和风险并没有有效的规避，同时针对于多类型大数据平台的采集同样需要开发对应的客户端代理agent，备份系统的复杂性和兼容性仍然没有得到提升。因此现有技术当中亟需要一种新型的技术方案来解决这一问题。

发明内容

本发明所要解决的技术问题是：提供一种基于虚拟共享目录的大数据备份方法，提升了异构大数据平台下的数据备份系统的兼容性，并且简化了大数据平台备份系统的备份过程以及提升备份效率。

一种基于虚拟共享目录的大数据备份方法，其特征是：包括以下步骤：

步骤一、建立一个包括大数据平台、备份介质层、介质服务层以及存储介质的虚拟共享数据存储备份系统；

步骤二、大数据平台向系统发起备份需求，备份介质层将网络文件介质NFS agent远程挂载在大数据平台上，为大数据平台提供一个基于网络文件NFS协议的虚拟共享目录，将数据暂存到NFS agent的内部目录；