[发明专利]一种分布式系统的数据处理方法及装置

说明书

本发明实施例提供一种分布式系统的数据处理方法及装置，该方法包括：客户端将携带第一对象的第一请求发送至第一分组地址对应的第一存储节点；所述第一请求用于指示所述第一存储节点处理所述第一对象；所述客户端确定在预设时间内未收到所述第一存储节点的第一请求响应，则从可用的分组地址中确定第二分组地址；所述客户端生成携带第二对象的第二请求，并将所述第二请求发送至所述第二分组地址对应的第二存储节点；所述第二对象为所述第一对象的重定向对象；所述第二请求用于指示所述第二存储节点处理所述第一对象。上述方法，可以尽可能降低OSD发生响应迟缓时，客户端请求阻塞的时间，解决客户端请求性能抖动的问题。

技术领域

本申请涉及网络技术领域，尤其涉及一种分布式系统的数据处理方法及装置。

背景技术

Ceph是一种为优秀的性能、可靠性和可扩展性而设计的统一的、分布式文件系统。传统Ceph系统为了保证客户端响应和底层存储响应的一致性，应用层客户端请求下发到底层OSD(Object Storage Device，对象存储设备)时，会一直等待OSD响应操作完成再往上级反馈。若底层OSD异常，则客户端的请求会被长时间阻塞，客户端会表现出请求被夯住，请求下发响应时间长，占用网络资源，易发生网络阻塞。

因此，现在亟需一种分布式系统的数据处理方法及装置，能够降低OSD发生响应迟缓时，客户端请求阻塞的时间，解决Ceph客户端请求性能抖动的问题。

发明内容

本发明实施例提供一种分布式系统的数据处理方法及装置，能够降低OSD发生响应迟缓时，客户端请求阻塞的时间，解决客户端请求性能抖动的问题。

第一方面，本发明实施例提供一种分布式系统的数据处理方法，该方法包括：客户端将携带第一对象的第一请求发送至第一分组地址对应的第一存储节点；所述第一请求用于指示所述第一存储节点处理所述第一对象；所述客户端确定在预设时间内未收到所述第一存储节点的第一请求响应，则从可用的分组地址中确定第二分组地址；所述客户端生成携带第二对象的第二请求，并将所述第二请求发送至所述第二分组地址对应的第二存储节点；所述第二对象为所述第一对象的重定向对象；所述第二请求用于指示所述第二存储节点处理所述第一对象。

上述方法中，可以在客户端设置有超时机制和重定向机制；其中，根据超时机制和重定向机制，所述客户端确定在预设时间内未收到所述第一存储节点的第一请求响应时，可确定第二分组地址，将所述第二请求发送至所述第二分组地址对应的第二存储节点，所述第二对象为所述第一对象的重定向对象。也即，当客户端的第一请求在预设时间内没有得到正常响应，发生第一请求阻塞时，可以及时将第一请求重新定向到另一个存储节点。如此，可以尽可能降低OSD发生响应迟缓时，客户端请求阻塞的时间，解决客户端请求性能抖动的问题。

可选的，将所述第二请求发送至所述第二分组地址对应的第二存储节点之前，还包括：所述客户端生成第三对象的第三请求；所述第三对象是存储在所述第一存储节点上的所述第一对象的关联对象；所述第三请求用于指示从所述第一存储节点上读取所述第三对象；所述客户端将所述第三请求发送至所述第一存储节点，并从所述第一存储节点中获取所述第三对象；所述客户端生成所述第三对象的第四请求，并将所述第四请求发送至所述第二存储节点；所述第四请求用于指示所述第二存储节点存储所述第三对象。

上述方法中，在一种场景中，第一对象为周期性存储对象，因此，在将当前第一对象写入第二存储节点之前，需要客户端将第一对象的在此之前各周期存储的历史数据(即第三对象)从第一存储节点中迁移到第二存储节点中。则通过根据所述第一对象生成历史数据读取请求(第三请求)，客户端可以从第一存储节点中获取第一对象的历史数据，并根据获取到的第一对象的历史数据生成历史数据的写请求(第四请求)，通过写请求将第一对象的历史数据写入到第二存储节点。保证第二存储节点中存储有第一对象的历史数据和当前数据，保证第一对象信息存储的完整性。