[发明专利]采用稀疏文件的实时数据迁移系统和方法

说明书

本发明相关于网络化计算机系统中的分级存储管理系统，更详细地说，相关于从文件服务器向辅助存储装置自动并透明地迁移数据的装置。

基于服务器的数据管理系统已经成为标准的办公室设备，并且对数据管理的需求日益增大。如今大公司的许多职员都有经由局域网(LAN)与其它计算机相连的个人计算机(PC)或工作站。

LAN通常包括若干计算机系统，如计算机工作站，它们被连接起来共享数据和资源，如主存储器和/或打印机。LAN常常包括提供网络服务的文件服务器。文件服务器一般是计算机网络上的一个节点，如一台计算机，它通过管理共享的资源为网络上的计算机终端提供服务。例如，文件服务器可以管理一组存储器磁盘和为网络上自身没有磁盘或需要将数据存储在外部的计算机终端提供存储和存档服务。

LAN的存储需求正以令人惊异的速度增长，如今的许多服务器都处理千兆字节的数据。另外，对许多计算机用户来说，能否存储和保护数据已经成为至关重要的问题。保护数据的最常用方法是将其保存在一个以上的存储位置。基于服务器的数据管理系统，如ARCserve^数据管理系统，对存储在LAN文件服务器和/或与LAN相连的计算机系统中的数据提供备份和保护。

然而，仅仅对计算机网络中的数据提供备份和存储是不够的，用户还特别要求数据的外部存储是自动的、最佳的和透明的。对计算机网络的数据提供有效的外部存储的一种技术是分级存储管理(HSM)。

HSM包括将计算机网络数据存储在文件服务器之外的第二和可能的话第三级存储装置中。外部存储装置一般是高容量的存储装置，如一次写入光盘和可重写光盘和磁带。例如，光存储器和磁带驱动器可以分别作为二级和三级存储装置连接到文件服务器。根据由HSM应用建立的标准，存储在文件服务器中的数据可以被迁移到光存储器，并且根据可选择的标准被进一步迁移到磁带驱动器。

例如，数据使用的频率可以被用来作为将数据从文件服务器迁移到第二和第三级存储装置的标准。通过迁移不经常使用或存取的数据，可以腾出文件服务器上的空间，同时用户可以继续扫描文件，就好像它们仍然驻留在文件服务器中一样。迁移指数据从文件服务器向分级存储结构(即外部存储装置)的移动，反迁移(demigration)指从分级存储结构到文件的数据恢复。为了获得HSM应用的最佳效益，第二和第三级存储装置被安排成存储数据的分级结构。因此，对一个预定的时间期限，驻留在网络文件中的数据文件可以被初始迁移到光存储器中，当该文件被网络文件服务器请求时，该光存储器提供相对较快的响应时间。如果数据文件在一个预定的时间期限被保留在光存储器中，而没有被文件服务器请求，那么根据存储等级，该数据文件可以被进一步迁移到磁带存储装置，该装置比光存储器具有较低的响应时间。因此，分级存储管理系统根据存储装置等级的费用、速度和容量提供更有效的存储网络化计算机系统的数据文件的方法。

当一个文件从文件服务器迁移时，原始文件被作为存根文件(stub file)表示在文件服务器中，也被称为幻象文件(phantom file)或墓碑(tombstone)。存根文件代表原始文件，但使用最小的物理存储空间，从而在文件服务器上空出了尽可能多的空间。然而，存根文件也应该尽量接近地表示原始文件的特征，如文件长度，产生的数据，最后存取的数据或某些属性，如只读文件。然而，根据执行迁移的特定HSM设备，文件的长度并不是准确表示的，而是不管原始文件的实际长度怎样，保持在文件服务器中的存根文件具有0,422或1000字节。例如，100兆字节文件可以从网络文件服务器迁移到外部存储装置，而留在文件服务器中的存根文件通常具有0,422或1000字节的长度。

因此，已知的设备可以通过使用存根文件标识被迁移的文件来减小文件服务器的物理空间分配，但已知的迁移方法不能准确地表示原始文件的实际特征。对使用文件长度的任何软件应用来说，准确表示特别是原始文件的长度是重要的信息。例如，某些LAN软件应用试图提供文件服务器拥有的数据量的统计分析，或根据达到预定值的特定文件的长度来执行定制的功能。如果被迁移的文件没有被准确地标识，就不能适当地执行分析和定制功能。另外，DOS操作系统的DIR指令会给用户提供错误的文件长度，使用户在碰到实际的文件长度时产生混淆。与此类似，DOS操作系统的COPY指令对实际有2兆字节的迁移文件可能显出1000字节，从而导致用户试图将文件复制到容量很小的软盘上去。