[发明专利]一种Ceph内核客户端进行通信的方法、系统、设备及介质

说明书

本发明公开了一种Ceph内核客户端进行通信的方法、系统、设备和存储介质，方法包括：基于RoCE协议建立Ceph内核客户端与Ceph分布式存储之间的通信，创建并初始化发送完成队列和接收完成队列；响应于向Ceph分布式存储发送消息且消息的类型为非阻塞消息，根据消息确定待发送数据的第一大小；根据当前空闲缓存的大小计算本次能够发送的数据的第二大小，判断第二大小是否小于第一大小；响应于第二大小小于第一大小，获取向发送完成队列发送的请求，并释放请求对应的缓存以更新当前空闲缓存；以及将待发送数据拷贝到更新后的当前空闲缓存中，向发送完成队列提交请求以发送待发送数据，并基于已拷贝数据的大小更新第一大小并再次发送数据直到第一大小为零。

技术领域

本发明涉及分布式文件系统领域，更具体地，特别是指一种Ceph内核客户端进行通信的方法、系统、计算机设备及可读介质。

背景技术

Ceph是一种分布式文件系统，具有高性能、高可靠性及高可扩展性的特点，可以提供对象存储、块设备存储和文件系统存储。Ceph提供文件系统存储时，用户可以通过NAS客户端访问，而当客户端为linux系统时，还可以通过linux内核中fs模块进行访问，当前已有用于linux系统的内核客户端访问Ceph存储文件系统，网络实现上采用的是tcp/ip通信模式。现有技术中的Ceph内核客户端的通信延时较高并且CPU占用率较高，通信效率较低。

发明内容

有鉴于此，本发明实施例的目的在于提出一种Ceph内核客户端进行通信的方法、系统、计算机设备及计算机可读存储介质，本发明基于RoCE协议进行Ceph内核客户端的通信，能够充分发挥RoCE协议自身低延时、高带宽及更低cpu占用的优势，从而提升Ceph内核客户端的读写性能。

基于上述目的，本发明实施例的一方面提供了一种Ceph内核客户端进行通信的方法，包括如下步骤：基于RoCE协议建立Ceph内核客户端与Ceph分布式存储之间的通信，并创建并初始化发送完成队列和接收完成队列；响应于Ceph内核客户端向所述Ceph分布式存储发送消息，判断所述消息的类型是否为非阻塞消息，响应于所述消息的类型为非阻塞消息，根据所述消息确定待发送数据的第一大小；获取当前空闲缓存，根据所述当前空闲缓存的大小计算本次能够发送的数据的第二大小，判断所述第二大小是否小于所述第一大小；响应于所述第二大小小于所述第一大小，获取向所述发送完成队列发送的请求，并释放所述请求对应的缓存以更新所述当前空闲缓存；以及将待发送数据拷贝到更新后的所述当前空闲缓存中，向所述发送完成队列提交请求以发送所述待发送数据，并基于已拷贝数据的大小更新所述第一大小并再次发送数据直到所述第一大小为零。

在一些实施方式中，所述基于RoCE协议建立Ceph内核客户端与Ceph分布式存储之间的通信包括：根据IP地址解析地址和路由，并创建并初始化远程直接存储器访问连接上下文；以及发起远程直接存储器访问连接，响应于连接成功，将套接字的状态设置为已连接。

在一些实施方式中，方法还包括：创建保护域，并注册所述发送完成队列和接收完成队列的事件处理器和完成处理器。

在一些实施方式中，方法还包括：响应于所述第二大小不小于所述第一大小且并未获取到向所述发送完成队列发送的请求，在所述当前空闲缓存中写入所述第一大小的待发送数据。

在一些实施方式中，所述将待发送数据拷贝到更新后的所述当前空闲缓存中包括：获取释放的缓存和所述当前空闲缓存的索引，并根据所述索引将待发送数据拷贝到更新后的所述当前空闲缓存的单个或多个内存映射块中。

在一些实施方式中，方法还包括：响应于接收到所述Ceph分布式存储发送的消息，判断接收缓存中是否存在可用数据；以及响应于接收缓存中存在可用数据，将所述可用数据进行拷贝并向所述接收完成队列发送请求。

在一些实施方式中，方法还包括：响应于接收缓存中不存在可用数据，向所述接收完成队列获取完成请求，并判断所述完成请求是否符合预设要求；响应于所述完成请求不符合预设要求，结束本次接收并提示发生错误。