[发明专利]一种网络文件系统实时化的方法

摘要

本发明涉及一种网络文件系统实时化的方法，改造现有网络文件系统架构，通过为网络文件系统的客户端和服务器端增加实时参数约定、流量控制和请求调度机制，在现有网络文件系统请求/响应架构和RPC线程池机制下提供实时文件访问控制能力。本发明涉及的网络文件系统实时化的方法，能够克服现有网络文件系统对实时性支持的不足。

主权项

一种网络文件系统实时化的方法，其特征在于步骤如下：步骤1：在网络文件系统客户端和网络文件系统服务器间约定实时参数，所述实时参数为NFS客户端和NFS服务器上的实时流量控制与实时调度装置提供必须的参数，包括：提供数据流标识定义：具体针对任务、进程或线程、节点、卷、目录、文件集合、文件标记的数据流；每条数据流至少设置如下属性：数据流的带宽要求、周期或最大间隔、缓冲大小、最大延迟或截止期、传输方向为单向或双向、请求执行顺序为保持或允许乱序、是否允许分批返回结果、流控算法、调度算法；所述带宽要求为：单位为每秒字节数或每秒I/O请求数；为进一步提高传输和存储效率，一条数据流在单个周期内能够发出一个或多个读/写请求，但一个周期内的所有请求必须在该周期的截止期内全部完成；设定的周期或最大间隔包括多个数据访问请求；步骤2：采用静态或动态验证算法，根据系统当前实时参数设置和当前执行状况，验证实时性是否可以满足；如果满足实时性要求，执行步骤3；否则重新进行流量规划和实时参数设定或停止执行本次访问；步骤3：网络文件系统客户端进行远程文件读写操作，并利用实时调度与限流装置对各流发出的读写请求进行限流和调度，具体如下：第一，流量控制和调度算法以数据流标识为依据，为每个数据流计算当前周期内的预算流量和剩余流量；第二，对网络文件系统客户端进行改造，采用由NFS客户端打标记，并在本层内进行流量控制；或采用NFS客户端不仅为每个数据流打标记，而且为每个数据流对应 的网络层数据包打上唯一的网络流控标记，并由客户端所在节点的网络层软、硬件系统进行流量控制；步骤4：网络文件系统服务器端对接收到的请求进行排队后，由文件访问请求调度器根据第一步设置的实时性参数和每个数据流当前周期内的剩余数据量，以不同速率将各数据流请求队列中的请求分配给RPC处理线程进行处理；RPC处理线程将处理结果返回经网络文件系统服务器端的网络数据包收/发调度器返回客户端；具体实施分为以下四个子步骤：步骤4.1，设置专门的网络文件访问请求接收和发送调度器，该调度器根据数据流标识对请求分类排队；步骤4.2，设置专门的网络文件系统请求调度器，该调度器根据步骤1所约定的实时参数，以不同速率将队列中的请求送给RPC线程池中的线程进行处理；步骤4.3，如果请求包过大，RPC线程根据系统当前负载情况将其分解为一系列更小的本地文件访问请求，交由本地文件系统以同步或异步方式执行；如果采用异步方式，则RPC线程即可开始处理下一请求；所述分解方式根据该数据流已完成流量、待完成流量和优先级或调度策略共同决定；步骤4.4，本地文件系统处理完小文件请求后将结果返回给发出请求的RPC线程后，RPC线程根据步骤1约定的实时参数，以打包后统一返回或分批返回的方式将结果返回给发出请求的客户端；步骤5：客户端根据实时参数配置情况，按预定速率从网络上接收各数据流的返回结果；当一个请求的全部结果都返回后，客户端将该请求从待处理队列中删除，并向上层应用报告该请求结束；整个结果返回过程根据用户配置要求，以分批提交或打包一次性返回的方式交给上层应用；如果该数据包是本周期内的最后一个数据包，则将该数据流设置为结束，即停止本周期内对该数据流剩余流量的计算和队列调度。