[发明专利]一种文件处理方法及装置

说明书

本申请提供一种文件处理方法及装置，所述方法包括：将待存储文件分为多个对象；其中，每个对象对应有第一名称和第二名称，第一名称由第一哈希值和所述对象在所述文件中的序号组成，所述第一哈希值为以文件名称为参数的哈希值；第二名称由第二哈希值组成，所述第二哈希值为以对象内容为参数的哈希值；根据每个对象的第二名称对所述待存储文件进行存储处理。本申请以对象内容为参数的哈希值进行存储映射，避免了相同内容的文件对象的重复存储，从而可以减少数据占用的存储空间，实现底层存储空间的优化。

技术领域

本发明涉及计算机领域，尤其涉及文件处理方法及装置。

背景技术

分布式存储长期大规模应用于互联网、云数据中心，能够带来高扩展性和极低的成本控制，具有构建和提供出企业级存储的能力。Sheepdog(一种分布式存储系统)是开源社区新兴的分布式块存储文件系统，采用完全对称的结构，没有类似元数据服务的中心节点，依靠大量普通PC(Personal Computer，个人计算机)服务器通过网络互联，对外作为一个整体提供存储服务。

然而，普通PC服务器虽然能显著降低成本，但稳定性是完全不可信任的，不可避免的会发生节点宕机，磁盘离线或者损坏等问题。因此，在分布式系统中为了保证高可用和数据高可靠，会在两方面进行设计；首先，集群管理采用CFT(Crash Fault Tolerance，一类容忍节点崩坏的集群管理算法)设计，允许不多于半数的集群节点同时宕机，保证业务不间断。其次，数据管理采取多副本冗余策略处理，即数据会存在多份副本，副本分布满足故障隔离，避免数据丢失和单点故障。但是，多副本带来的问题是底层存储空间需要提供额外的存储空间存放副本，Sheepdog也采用这样的冗余来实现高可用性，并提供自动恢复数据，平衡数据存储的特性，因此导致了底层数据大量占用存储空间的问题。

现有Sheepdog的数据存储过程如下：如图1和图2所示，假设文件1以4M大小的空间被切分为1，2，3，4个对象，切分后的对象名称由两部分组成，即hash(“文件1”)+索引index，index为对象切分后的序号；接着，对象管理模块根据存储系统的节点个数组成一个哈希环，每个物理节点对象环上的一组节点vnode；最后，以对象名称为参数计算每个对象的哈希值，将该哈希值在哈希环上映射，从而决定对象1，2，3，4所存储的位置；对于不同的副本策略，一个对象还会被映射到多个卷volume上。从上述内容可以看出，现有的数据存储方式存在相同内容的对象的重复存储，从而导致了底层数据大量占用存储空间的问题。

发明内容

本申请所要解决的技术是提供一种文件处理方法及装置，减少底层数据占用的存储空间。

为了解决上述技术问题，本申请提供了一种文件处理方法，所述方法包括：

将待存储文件分为多个对象；其中，每个对象对应有第一名称和第二名称，第一名称由第一哈希值和所述对象在所述文件中的序号组成，所述第一哈希值为以文件名称为参数的哈希值；第二名称由第二哈希值组成，所述第二哈希值为以对象内容为参数的哈希值；

根据每个对象的第二名称对所述待存储文件进行存储处理。

可选地，所述根据每个对象的第二名称对所述待存储文件进行存储处理包括：

将每个对象的信息存储到对应的结构体中；

所述根据每个对象对应的结构体对所述待存储文件进行存储处理；

其中，一个结构体对应一个第二名称，第二名称相同的对象的信息存储在同一个结构体中，所述对象的信息包括对象的第一名称、第二名称以及引用记录，所述引用记录为将信息存储到该结构体中的对象的数量，所述第一名称组。

可选地，所述根据每个对象对应的结构体对所述待存储文件进行存储处理包括：

计算每个结构体对应的第三哈希值，其中，所述第三哈希值为以结构体对应的第二名称为参数的哈希值；