[发明专利]一种控制处理写操作的方法及装置

说明书

本申请实施例公开了一种控制处理写操作的方法及装置，该方法首先利用处理阈值控制对写操作的处理，获得写操作处理完成的消息；其后，根据所述消息中的所述压力信息，调整所述处理阈值。利用处理阈值能够对当前可处理的写操作数目和写操作数据长度进行严格的控制，以此控制写入速度，避免分布式存储系统有大量的写操作涌入后端致使系统的内存暴增，进而，该方法提高了分布式存储系统的稳定性。另外，该方法还可根据当次写操作处理完成的消息中包含的压力信息，对下次控制处理写操作的处理阈值进行动态调整，以控制数据写入速度。进而，形成一种反压机制，在保证分布式存储系统稳定性的同时，保证处理写操作的高效率。

技术领域

本申请涉及分布式存储系统数据处理技术领域，特别是涉及一种控制处理写操作的方法及装置。

背景技术

在如今的云计算时代，海量数据对分布式存储系统的存储性能要求越来越高。分布式存储系统的稳定性是极其重要的，只有稳定性足够高，才能长期为用户提供持续稳定的存储服务。

由于应用的复杂性，存储系统中瞬间涌入大量写入操作的情况时有发生。这些大量的写操作由于处理不及时，容易堆积在分布式存储系统的内存中，导致集群的内存使用量暴增，严重时会占用Swap空间，不仅拖慢分布式存储的性能，严重时还会造成宕机事故。可见，这种大量写操作瞬间涌入的情况致使分布式存储系统稳定性较差。而如何处理瞬间大量的写操作，避免上述影响，已经成为了该领域急需解决的重要难题。

发明内容

基于上述问题，本申请提供了一种控制处理写操作的方法及装置，以解决分布式存储系统因大量写操作的涌入造成的稳定性差的问题。

本申请实施例公开了如下技术方案：

本申请第一方面，提供一种控制处理写操作的方法。该方法包括：

利用处理阈值控制对写操作的处理，获得写操作处理完成的消息；所述处理阈值，包括：数目阈值和数据长度阈值，所述数目阈值为预设的分布式存储系统同一时间处理的写操作最大数目，所述数据长度阈值为预设的所述分布式存储系统同一时间处理的写操作最大数据长度；所述消息中包括分布式存储系统的压力信息，所述压力信息包括：CPU负载，以及内存使用量；

根据所述消息中的所述压力信息，调整所述处理阈值。

可选的，所述利用处理阈值控制对写操作的处理，具体包括：

将正在处理的写操作的数目与所述数目阈值进行比较，以及，将正在处理的写操作的数据长度与所述数据长度阈值进行比较；

如果所述正在处理的写操作的数目未达到所述数目阈值，且所述正在处理的写操作的数据长度未达到所述数据长度阈值，则处理新的写操作；

如果所述正在处理的写操作的数目达到所述数目阈值，和/或，所述正在处理的写操作的数据长度达到所述数据长度阈值，则将所述新的写操作存入待处理队列中，继续处理所述正在处理的写操作。

可选的，所述将所述新的写操作存入待处理队列中之后，所述方法还包括：

等待正在处理的一个或多个写操作处理完成后，优先处理所述待处理队列中较先存入的写操作。

可选的，在所述调整所述处理阈值之前，所述方法还包括

获取处理阈值的调整策略；

所述调整策略包括：多个处理策略的调整值，以及与每个所述调整值相对应的CPU负载区间及内存使用量区间；各个所述CPU负载区间互不相交，各个所述内存使用量区间互不相交；所述调整值越小，所述调整值对应的CPU负载越大，且所述调整值对应的内存使用量越大；

所述根据所述消息中的所述压力信息，调整所述处理阈值，具体包括：

将所述压力信息中CPU负载对应的调整值，与所述压力信息中内存使用量对应的调整值进行比较，