[发明专利]一种用于图片存储的分布式元数据系统

说明书

本发明公开了一种用于图片存储的分布式元数据系统，包括由至少一个group组成的元数据服务器集群，每个group包含至少一个元数据服务器；位于同一个group中的各个元数据服务器存储的元数据相同，并采用binlog文件形式在group中同步元数据；所述元数据服务器使用BDB存储key‑value结构的元数据；所述BDB为开源的嵌入式数据库，与应用程序运行在同一进程空间；BDB将图片的元数据保存在BDB文件内。优点是：避免了中心节点模式存在容量上限、性能瓶颈、高可用性配置等问题。

技术领域

本发明涉及图片存储技术领域，尤其涉及一种用于图片存储的分布式元数据系统。

背景技术

电商、聊天、论坛等应用程序会大规模使用图片，这类网站存储的图片数量巨大，并且每年都在成倍增长，同时用户访问量也很大。这类图片文件具有尺寸小、数量大的特点，在设计图片存储系统时，元数据管理是重要环节，现有的解决方案主要有两种：

1、中心节点管理元数据，例如TFS、GFS等存储系统，使用中心节点记录文件元数据，可以方便的处理数据统计、负载均衡、系统扩容问题；缺点是中心节点会形成单点故障和性能瓶颈。

2、无元数据设计，例如Ceph、GlusterFS等存储系统，存储文件时，先对文件进行hash运算，所得hash值再对集群的节点拓扑、路径权重等进行运算，得到hash值与存储位置的映射关系，这类系统没有中心节点的性能制约，方便扩容；缺点是：(1)集群扩容时，由于集群拓扑发生变化，需要做数据迁移，影响上层业务访问性能；(2)由于不保存用户数据，统计分析性能低，比如“ls目录”耗时较多。

针对这些问题，需要研究一套高效、易用的图片存储元数据管理系统。

发明内容

本发明的目的在于提供一种用于图片存储的分布式元数据系统，从而解决现有技术中存在的前述问题。

为了实现上述目的，本发明采用的技术方案如下：

一种用于图片存储的分布式元数据系统，包括由至少一个group组成的元数据服务器集群，每个group包含至少一个元数据服务器；位于同一个group中的各个元数据服务器存储的元数据相同，并采用binlog文件形式在group中同步元数据；

所述元数据服务器使用BDB存储key-value结构的元数据；

所述BDB为开源的嵌入式数据库，与应用程序运行在同一进程空间；BDB将图片的元数据保存在BDB文件内。

优选的，元数据服务器增加一条元数据时，会在binlog文件中生成一条日志，内容为“时间、数据内容、新增标记”，同步线程读取binlog文件，把带有新增标记的数据推送给同group的其他元数据服务器，其他元数据服务器收到数据后，向BDB文件插入元数据，并在binlog文件中增加一条日志，内容为“时间、数据内容、同步增加标记”；由于存在同步增加标记，则该增加操作不会再同步给其他元数据服务器。

优选的，元数据服务器删除一条元数据时，会在binlog文件中生成一条日志，内容为“时间、数据内容、删除标记”，同线程读取binlog文件，把带有删除标记的数据推送给同group的其他元数据服务器，其他元数据服务器收到数据后，在BDB文件中删除元数据，并在binlog文件中增加一条日志，内容为“时间、数据内容、同步删除标记”；由于存在同步增加标记，则该删除操作不会再同步给其他元数据服务器。

优选的，元数据服务器集群在进行扩容时，元数据服务器采用逻辑分组的方式避免hash分布发生变化；所述逻辑分组的方式具体为，一个物理分组对应一组元数据服务器，一组元数据服务器分成多个逻辑分组；一个元数据服务器能够同时支持多个逻辑分组，每个逻辑分组对应一个BDB文件；在元数据系统建设初期估算今后需要的逻辑分组数目，将逻辑分组配置到物理分组，扩容时，将一个或多个逻辑分组迁移到新增的物理分组，拷贝对应的BDB文件即可完成元数据的迁移。