[发明专利]分布式存储系统的Lookup处理方法、系统、终端及存储介质

说明书

本发明提供一种分布式存储系统的Lookup处理方法、系统、终端及存储介质，所述分布式存储系统包括主服务节点和多个分服务节点，方法包括：所述多个分服务节点均通过本地监测线程监测自身热度并实时将自身热度发送至主服务节点；所述分服务节点的监测线程确认自身热度超过预设热度阈值之后，将所述分服务节点作为待均衡节点向主服务节点请求查询热度最低的分服务节点信息；所述待均衡节点将主服务节点返回的分服务节点作为目标节点，且所述待均衡节点将本地任务队列中的Lookup消息发送至目标节点。本发明能够加快MDS集群处理lookup类型消息的整体速度，从而达到提高上层应用性能稳定性的目的，避免性能拨动对正常业务造成的不良影响。

技术领域

本发明涉及分布式存储技术领域，具体涉及一种分布式存储系统的Lookup处理方法、系统、终端及存储介质。

背景技术

前的分布式文件系统中，很多场景下在执行实际的操作(比如在某个目录下创建文件或者删除文件)前，都需要执行至少一次lookup操作，以确定文件是否真的存在，从而协助上层模块是否可执行实际的操作。

分布式存储系统包括主服务节点(主MDS)和多个分服务节点(分MDS)。lookup操作消息会由客户端发送到各个MDS的消息队列中，而在MDS中，所有的消息必须等上一个消息处理完成后，才能从消息队列中取出下一个消息进行处理，以保证数据的一致性和正确性。假设消息队列中同时存在n个消息要处理，即第n个消息的耗时可表示如下：

耗时n＝本消息处理时间+前面n-1个消息的处理时间

在实际运行中，分布式存储文件系统是无法保证各个MDS的压力始终保持均衡的。如果在某一时刻其中一个MDS集中性的收到了大量各类待处理消息，或者消息队列中存在处理时间较慢的消息，就会使lookup这类无需依赖消息队列前面请求完成的消息的时延的增加，造成对应客户端的时延波动(比如某个MDS收到了A客户端发来的慢请求m1,在请求m1后是B客户端的lookup请求，该请求虽然不依赖m1请求的完成，确必须等待其完成才能得到处理，造成B客户端的时延波动)。这就造成了lookup消息处理速率低的问题，严重影响分布式存储系统的使用性能。

发明内容

针对现有技术的上述不足，本发明提供一种分布式存储系统的Lookup处理方法、系统、终端及存储介质，以解决上述技术问题。

第一方面，本发明提供一种分布式存储系统的Lookup处理方法，所述分布式存储系统包括主服务节点和多个分服务节点，包括：

所述多个分服务节点均通过本地监测线程监测自身热度并实时将自身热度发送至主服务节点；

所述分服务节点的监测线程确认自身热度超过预设热度阈值之后，将所述分服务节点作为待均衡节点向主服务节点请求查询热度最低的分服务节点信息；

所述待均衡节点将主服务节点返回的分服务节点作为目标节点，且所述待均衡节点将本地任务队列中的Lookup消息发送至目标节点。

进一步的，所述多个分服务节点均通过本地监测线程监测自身热度，包括：

在配置文件中设置各类业务消息的对应基础热度值；

设置热度值随时间衰减的函数；

所述自身热度为已处理业务与对应基础热度值的累加值减去随时间衰减的热度值。

进一步的，所述方法还包括：

在所述主服务节点设置待选节点数量；

所述主服务节点将除发送查询请求的分服务节点以外的分服务节点按热度由低到高进行排序，根据所述待选节点数量筛选出排序靠前的多个分服务节点作为待选节点。

进一步的，所述待均衡节点将本地任务队列中的Lookup消息发送至目标节点的方法，包括：