[发明专利]一种基于库复制的分布式存储系统

摘要

本发明涉及一种基于库复制的分布式存储系统，该系统包括多个数据端，多个镜像服务器，控制服务器；在控制服务器的控制下，将数据端中的数据保存到一个或多个镜像服务器中；数据端用于存储数据，根据控制服务器发送的分库策略进行数据分库，将分库数据发送到指定进行服务器；该系统利用对照表和目录表进行文件和库的管理，通过对数据进行切分、复制、自动并行修复，构建了一个高可靠、自管理的分布式存储系统，在机器数量大于故障机器上的库的数量时，整个修复过程的耗时通常仅需几十分钟，解决了数据高效自动修复的问题。

主权项

1.一种基于库复制的分布式存储系统，其特征在于，该系统包括：多个数据端，多个镜像服务器，控制服务器；在控制服务器的控制下，将数据端中的数据保存到一个或多个镜像服务器中；控制服务器用于根据数据端的优先级和所保存的文件信息确定分库策略，并将该分库策略提供给数据端；还用于对每个数据端的运行状态进行监测，当数据端发生故障时，控制镜像服务器根据其保存的库数据对故障数据端进行数据恢复；数据端用于在设定时刻到来时向控制服务器发送镜像请求，还用于存储业务数据，根据控制服务器发送的分库策略进行文件分库，和所分配的镜像服务器建立端口绑定关系；基于该端口绑定关系进行库包含的文件数据的恢复；还用于建立文件和库对照表、库目录表，并将该表信息保存在本地存储空间和控制服务器中；镜像服务器用于通过所建立的端口绑定关系，基于文件和库对照表、库目录表，将库数据恢复到数据端的文件所在原始位置；其中，将文件编号和文件在数据端的物理位置、文件所在的库、文件在库中的位置关联保存在文件和库对照表中；将库及其包含的文件编号、文件在库中的位置保存在库目录表中；具体的：根据数据端标识ID从本地预存的数据端标识ID和数据端优先级PR之间的对应表获取该数据端的优先级PR；基于该优先级PR和文件平均大小FS，根据公式(1)计算文件分库基准值Z；考虑到文件大小较大时，应当将文件尽量分派到不同的镜像服务器以提高文件的修复速度，同时当数据端优先级较高时，将文件分配到多个镜像服务器可以提高文件的修复速度，从而给高优先级用户更好的修复体验，因此，对高优先级数据端和大文件镜像提供更高的基准值从而提高文件的分散度，以保证数据的安全性和恢复速度；分库基准值的最大值Zmax根据公式(3)计算得到；Zmax＝FS×n/∑(CP/NM)×Rmax×w 公式(3)其中，CP为一个镜像服务器的可用空间大小，∑(CP/NM)为所有可用镜像服务器的平均可用空间大小；NM为可用镜像服务器总数；Rmax最大冗余份数，w为调节系数，可以由控制服务器根据当前镜像服务器运行状况来预设，镜像服务器运行状况包括：镜像服务器可用计算资源，可用端口，可用存储资源；当冗余份数过多时，数据端不能提供足够的端口进行并行恢复，且安全性也不能再提高更多，因此，可以根据经验来设置该Rmax值；冗余份数基准值R由控制服务器根据当前可用镜像服务器个数或系统中镜像服务器总数来设置；R是可以动态调节的；(3)数据端根据文件分库基准值Z进行文件分库，并计算库Lj的冗余份数Rj；具体的：数据端的数据以文件为组织单位进行顺序编号；顺序编号后的文件为：F1，F2，···，Fi，···，Fn；其中，n为数据端总的文件个数；将n个文件分为Z个库文件，L1，L2···，Lj，···LZ；其中：Fi将被分配到库LimodZ中；根据公式(2)计算库Lj的冗余份数Rj，其中NLj为库文件Lj中文件的数量，FPRj,k为库Lj中的第k个文件Lj,k的文件优先级，FPRmax为最高文件优先级；文件优先级由数据端根据文件重要程度来设置，或者在提交文件基本信息后由控制服务器设置；FPRmax为最高文件优先级，由控制服务器统一设置；预设数量由控制服务器预先设置。