[发明专利]一种基于库复制的分布式存储系统

说明书

本发明涉及一种基于库复制的分布式存储系统，该系统包括多个数据端，多个镜像服务器，控制服务器；在控制服务器的控制下，将数据端中的数据保存到一个或多个镜像服务器中；数据端用于存储数据，根据控制服务器发送的分库策略进行数据分库，将分库数据发送到指定进行服务器；该系统利用对照表和目录表进行文件和库的管理，通过对数据进行切分、复制、自动并行修复，构建了一个高可靠、自管理的分布式存储系统，在机器数量大于故障机器上的库的数量时，整个修复过程的耗时通常仅需几十分钟，解决了数据高效自动修复的问题。

【技术领域】

本发明属于数据存储领域，尤其涉及一种基于库复制的分布式存储系统。

【背景技术】

分布式存储系统，是将数据分散存储在多台独立的设备上。传统的网络存储系统采用集中的存储服务器存放所有数据，存储服务器成为系统性能的瓶颈，也是可靠性和安全性的焦点，不能满足大规模存储应用的需要。分布式网络存储系统采用可扩展的系统结构，利用多台存储服务器分担存储负荷，利用位置服务器定位存储信息，它不但提高了系统的可靠性、可用性和存取效率，还易于扩展。

现有技术中的采用垂直扩展或者水平扩展方式进行分布式存储，垂直扩展就是按照功能切分数据库，将不同功能的数据，存储在不同的数据库中，这样一个大数据库就被切分成多个小数据库，从而达到了数据库的扩展。水平扩展是将数据的水平切分理解为按照数据行来切分，就是将表中的某些行切分到一个数据库中，而另外的某些行又切分到其他的数据库中。上述存储方法均没有考虑到存储单元的能力和分布开销，也不能进行自动的数据分库管理。基于上述诸多问题，现在亟需一种新的分布式存储系统，利用对照表和目录表进行文件和库的管理，通过对数据进行切分、复制、自动并行修复，构建了一个高可靠、自管理的分布式存储系统，在机器数量大于故障机器上的库的数量时，整个修复过程的耗时通常仅需几十分钟，解决了数据高效自动修复的问题。

【发明内容】

为了解决现有技术中的上述问题，本发明采用的技术方案如下：一种基于库复制的分布式存储系统，其特征在于，该系统包括：多个数据端，多个镜像服务器，控制服务器；在控制服务器的控制下，将数据端中的数据保存到一个或多个镜像服务器中；

控制服务器用于根据数据端的优先级和所保存的文件信息确定分库策略，并将该分库策略提供给数据端；还用于对每个数据端的运行状态进行监测，当数据端发生故障时，控制镜像服务器根据其保存的库数据对故障数据端进行数据恢复；

数据端用于在设定时刻到来时向控制服务器发送镜像请求，还用于存储业务数据，根据控制服务器发送的分库策略进行文件分库，和所分配的镜像服务器建立端口绑定关系；基于该端口绑定关系进行库包含的文件数据的恢复；还用于建立文件和库对照表、库目录表，并将该表信息保存在本地存储空间和控制服务器中；

镜像服务器用于通过所建立的端口绑定关系，基于文件和库对照表、库目录表，将库数据恢复到数据端的文件所在原始位置；

其中，将文件编号和文件在数据端的物理位置、文件所在的库，文件在库中的位置关联保存在文件和库对照表中；将库及其包含的文件编号、文件在库中的位置保存在库目录表中。

进一步的：数据端为业务端或业务服务器，用户将业务数据保存在该数据端中。

进一步的：监控获取针对数据端的数据产生高峰时间段，将高峰时间段过去后的第一时刻设置为设定时刻。

进一步的：数据端将数据量达到预设值的时刻设置为设定时刻。

进一步的：将预设周期到达后的第一时刻设置为设定时刻。

进一步的：支持全量和增量数据镜像。

进一步的：在增量数据镜像时，控制服务器控制数据端仅对增量文件进行分库和镜像，并增量的更新文件和库对照表、库目录表。

进一步的：支持大数据文件的分布式存储。