[发明专利]并行组播网络文件系统

说明书

技术领域

本发明涉及一种并行组播网络文件系统，用于改进网络存储系统的性能。该技术利用网络文件系统(NFS)的通信协议和并行组播技术形成数据文件的批量分发和储存机制，在批量数据存储处理时，可以改善网络存储系统的性能，如视频点播(VoD)，网络电视，视频会议和视频监控系统等。

背景技术

多媒体应用常需要跨越不同的平台和文件系统并可以快速、并发、安全地访问视频文件，通常NFS分布式文件系统被用于实现该功能，但其性能只是导出存储系统的文件系统性能的一部分，而且目前的NFS实现方案中，由于NFS服务器有限的网络、CPU、内存、磁盘I/O资源等多种因素的限制，NFS服务器所能提供的带宽很有限。近年来，随着便宜而且易于扩展的视频分发服务器集群的广泛采用，带宽问题已变得越来越严重，这种集群对总带宽需求的增长速度远远超过了服务器集群可提供的带宽，特别是在VoD应用中，经常是多个用户几乎在同一时间请求访问相同的内容。另外，NFS当前的实现方案也不能很好的应用于多媒体流服务，因为它们不提供任何有保证的时间延迟，因而难于提供令人满意的用户体验。

NFS第4版相较于NFS的早期版本有多项改进，特别是提供了集成的安全性和锁定框架以及迁移和复制功能，但是，单服务器性能上的瓶颈仍然存在。将文件集合分布在多个NFS服务器上有助于绕开这个局限，但会增加系统管理成本，而且没有解决多个客户端同时访问同一个文件或目录的可扩展性问题，而后者是当今高性能应用的关键要求。近年来，将分布的NFS服务器聚集到一个单一的文件系统影像的技术取得了一些进展，但这些系统无法输出一些常用的第三方文件系统。

并行网络文件系统(pNFS)通过扩展NFS第4版的次要版本(minor version)，试图提供并行的文件服务方案。但它仍然没有解决一些多媒体应用中(如视频点播)多个用户在同一时间请求访问相同内容等问题。

发明内容

针对当前NFS的这些问题，本发明公开了一种以网络组播为基础的并行组播网络文件系统(parallel multicasting network file system，以下简称pmNFS)，通过在当前现有的网络文件系统基础上，引入并行组播技术，来提高多媒体内容的分发性能。

本发明的任务是这样来完成的，一种并行组播网络文件系统，其特征在于：以一个标准网络文件系统为基础，一个并行扩展部分用于消除标准网络文件系统的性能瓶颈，一个组播扩展部分用于消除存储磁盘I/O性能瓶颈；对控制数据和文件数据使用分离的传输通道以允许数据由多个客户端并行地传输到多个服务器端；利用组播来合并多个服务的流媒体数据流，以整合和减少I/O调用，从而消除存储磁盘I/O性能瓶颈；使用前向纠错机制用来提高组播的可靠性；校验值被计算后写入到磁盘存储，实现文件存储和传输误差校正的集成；利用缓冲区管理和磁盘I/O调度来提供顺序写入和组播的内存管理。

在本发明的一个具体的实施例中，所述的并行组播网络文件系统还包括一个媒体存储子系统和一个媒体分发子系统；所述的媒体存储子系统包括一个导出本地文件系统，它专为批量数据存储和分发应用而优化，一个NFS第4版服务器，但通过在并行和组播的扩展以及相应的客户端一道来执行控制和文件管理操作以实现数据批量写入和组播分发，一个存储和分发管理器来管理数据批量写入和组播分发，以及一系列数据存储硬盘用来存储用户数据；所述的媒体分发系统，包括一个NFS第4版客户端，但通过在并行和组播的扩展和相应的服务器一道来执行控制和文件管理操作以实现数据批量写入和组播分发，一个专为存储定制的驱动程序来支持数据批量写入和组播方式来实现可扩展的存储I/O吞吐量；一个写入和分发服务器用于整合批量数据的写入或分发。

在本发明的另一个具体的实施例中，对所述的控制数据的传输通道使用TCP协议，对文件数据的传输通道使用UDP协议。

在本发明的又一个具体的实施例中，所述的导出本地文件系统提供一个文件系统接口，支持但不限于如下操作：打开/关闭(Open/Close)，删除(Delete)、统计(Stat)、读/写/找(Read/Write/Seek)、打开会话/关闭会话(OpenSession/CloseSession)、播放/录音/定速/暂停(Play/Record/SetSpeed/Pause)、同步(Sync)。