[发明专利]一种数据实时读写方法、装置、系统及NFS服务器

说明书

技术领域

本发明涉及分布式文件系统技术领域，特别是涉及一种数据实时读写方法、装置、系统及NFS服务器。

背景技术

随着互联网时代的到来，微博、微信、网购等面向普通互联网用户的网站正在蓬勃兴起，互联网界的巨头公司向数以亿计的用户提供着基于互联网的各种服务。遍布世界各地的互联网用户每天都在网上发布信息，他们产生的这些是个人计算机的数据量的数倍。

互联网公司通常采用高性能服务器来存储这些数据。但是普通的存储系统已经无法支撑越来越多的用户数据，而且断电、灾害和系统故障使得数据的安全性很难保证。为了随时应对激增的用户请求，越来多的公司采用分布式存储系统，尤其是视频行业。分布式存储系统具有高可靠性、高可用性和高扩展性，可以避免由于单个节点失效而使整个系统崩溃的危险，可以将分布在各处的资源综合利用，同时可以将负载由单个节点转移到多个，从而提高了存储系统的性能。

由于实时存储要求低延时、恒定速率、持续写入，因此，实时存储的场合对分布式系统提出了更高的要求，分布式存储系统需要7×24小时保证存储的稳定性。如果集群中的节点或者某块硬盘出现故障，集群启动恢复机制，此时集群硬盘的压力会增加，线上存储系统会受到影响，甚至影响正常的业务。由于分布式存储系统的接口是通用接口，仅仅提供基本的读写功能，当读写数据时，客户端将直接调用分布式存储系统的接口作为用户态文件系统，利用客户端软件把分布式存储系统直接挂载到本地文件系统中，而为了保证接口的兼容性和稳定性，将致使接口无法与后端的块大小、缓存等匹配，不能根据应用场景随时进行调整，无法适应各不同的应用场景。

发明内容

有鉴于此，本发明实施例提供一种数据实时读写方法、装置、系统及NFS服务器，以解决现有技术中分布式存储系统的接口是通用接口，仅仅提供基本的读写功能，当读写数据时，客户端将直接调用分布式存储系统的接口作为用户态文件系统，利用客户端软件把分布式存储系统直接挂载到本地文件系统中，而为了保证接口的兼容性和稳定性，将致使接口无法与后端的块大小、缓存等匹配，不能根据应用场景随时进行调整，无法适应各不同的应用场景的问题。

为实现上述目的，本发明实施例提供如下技术方案：

一种数据实时写入方法，用于分布式文件系统，包括：

NFS服务器接收NFS客户端发送的数据写入请求，确定需写入的数据，将所述需写入的数据置于预设缓存空间中；

实时获取分布式文件系统的压力信息，确定所述压力信息的变化趋势，其中，所述压力信息包括硬盘占用率、CPU使用率和内存利用率；

根据所述变化趋势调整所述预设缓存空间的容量，并调整向所述分布式文件系统写入数据的写入速率，根据所述写入速率将所述预设缓存空间内所述需写入数据发送给所述分布式文件系统。

其中，所述实时获取分布式文件系统的压力信息，确定所述压力信息的变化趋势包括：

实时获取分布式文件系统的硬盘占用率、CPU使用率和内存利用率，并根据预设算法计算得到所述硬盘占用率、CPU使用率和内存利用率的综合利用率；

根据所述综合利用率绘制综合压力曲线图，确定所述综合压力去曲线图的变化趋势，将所述综合压力去曲线图的变化趋势作为所述压力信息的变化趋势。

其中，所述根据所述变化趋势调整所述预设缓存空间的容量，并调整向所述分布式文件系统写入数据的写入速率包括：

判断所述变化趋势是否为上升趋势，若是，则增大所述预设缓存空间的容量，并降低向所述分布式文件系统写入数据的写入速率；

判断所述变化趋势是否为下降趋势，若是，则减少所述预设缓存空间的容量，并提升向所述分布式文件系统写入数据的写入速率。

一种数据实时写入装置，用于分布式文件系统，包括：写入接收模块、压力获取模块和写入调整模块；其中，

所述写入接收模块，用于接收NFS客户端发送的数据写入请求，确定需写入的数据，将所述需写入的数据置于预设缓存空间中；

所述压力获取模块，用于实时获取分布式文件系统的压力信息，确定所述压力信息的变化趋势，其中，所述压力信息包括硬盘占用率、CPU使用率和内存利用率；

所述写入调整模块，用于根据所述变化趋势调整所述预设缓存空间的容量，并调整向所述分布式文件系统写入数据的写入速率，根据所述写入速率将所述预设缓存空间内所述需写入数据发送给所述分布式文件系统。

其中，所述压力获取模块包括：数据获取单元和绘图单元；其中，