[发明专利]保证分布式对象存储中的数据、流量、容量一致性的方法

说明书

本发明公开了一种保证分布式对象存储中的数据、流量、容量一致性的方案，在分布式对象存储中，需要保证数据，流量统计和容量统计的一致性，不但能保证数据写入过程中的数据，流量统计，容量统计的一致性，还能保证可扩展性，同时对性能的影响也不高。

技术领域

本发明涉及分布式对象存储中的数据，流量统计，容量统计的一致性问题，具体是一种保证分布式对象存储中的数据、流量、容量一致性的方法。

背景技术

本方案是一种分布式的对象存储中的数据，流量统计，容量统计的一致性保证方案。在分布式对象存储中，需要保证数据，流量统计和容量统计的一致性，由于在数据写入/修改的过程中，会面临多种异常，任何一种异常都可能导致数据，流量，容量的不一致问题，在常用的解决方案中(如使用mysql事务)，在分布式，大规模的数据请求场景下，这样的方式非常容易成为存储系统的性能瓶颈所在，所以需要一种全新的办法来解决数据，流量，容量的一致性问题，同时又能保证不会成为性能瓶颈。

适用于大规模的分布式对象存储，并不支持随机写入，追加写入的场景。

发明内容

本发明的目的在于提供一种保证分布式对象存储中的数据、流量、容量一致性的方法，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：

一种保证分布式对象存储中的数据、流量、容量一致性的方法，其具体方法步骤如下：

(1)对于所有的对象数据写入请求，都先记录操作日志，并带状态；

(2)对于数据已经落入存储完成后，改变操作日志的状态，直接响应数据写入；

(3)同时另一个异步线程不断的查询操作的日志的状态，根据不同的日志状态做不同的处理。

作为本发明进一步的方案：所述步骤(1)中的操作日志为分布式，能够包装扩展性，状态为初始状态。

作为本发明进一步的方案：所述步骤(2)中的操作日志状态为数据写入状态，响应数据写入为告知数据写入请求完成。

作为本发明进一步的方案：所述步骤(3)中的操作日志的状态为初始状态，如果没超时，则认为数据还在写入，不做任何处理，如果超时，则认为数据写入失败，将会根据操作日志的内容，做数据回滚。

作为本发明进一步的方案：所述步骤(3)中的操作日志的状态为写入状态，这个状态表明数据已经成功写入磁盘，那么就会分析这次的操作对容量的影响，如删除操作，容量减少，增加操作，容量增加，并根据容量的变化下，修改容量值，同时在容量值中记录修改日。

作为本发明进一步的方案：修改操作日志的状态为容量已统计，清除容量值中的修改日志，修改操作日志的状态为容量统计完成。

作为本发明进一步的方案：所述步骤(3)中的操作日志的状态为容量统计完成，那么就会开始分析操作对流量统计的影响，并修改流量的统计值，同时在容量值中记录流量修改日志。

作为本发明进一步的方案：修改操作日志的状态为流量已统计，清除流量值中的修改日志，修改操作日志的状态为流量统计完成。

作为本发明进一步的方案：所述记录修改日志中记录容量值被谁修改。

作为本发明进一步的方案：所述记录流量修改日志中记录流量值被谁修改。

与现有技术相比，本发明的有益效果是：提供了一种新的高性能数据一致性方案，不但能保证数据写入过程中的数据，流量统计，容量统计的一致性，还能保证可扩展性，同时对性能的影响也不高。

具体实施方式