[发明专利]一种端到端小文件归集传输和存储的一体化系统及方法

权利要求书

1.一种端到端小文件归集传输和存储的一体化系统，其特征在于，包括：依次通讯连接的客户端归集系统、跨网络传输复制系统和目标端存储系统；

所述客户端归集系统，用于将小文件实体数据归集重构形成大文件，并在大文件后段写入归集信息：自身归集信息的起始位置、以及每个归集小文件的起始位置和长度；

所述跨网络传输复制系统，用于将所述客户端归集系统中归集重构的大文件通过IP网络传输至所述目标端存储系统中；

所述目标端存储系统，其包括文件地址索引层和文件实体层；用于对接收的归集重构的大文件，根据归集信息将归集重构的大文件中小文件归集索引地址转换为包含归集信息的文件索引地址保存到文件地址索引层，再将归集重构的大文件中的实体部分文件保存到文件实体层；

所述跨网络传输复制系统，具体用于：

通过扫描建立源端文件索引库以识别源端当前文件和新增、删除、修改的文件、及通过传输记录目标端文件索引库；

对比源端和目标端文件的差异，当源端有新增或修改文件时，通过任务管理来调度客户端归集系统读取文件并导入传输队列；当源端有删除文件时，通过任务管理来调度目标端存储系统删除对应文件索引；

将源端的传输队列与目标端的接收队列对接，通过任务调度以文件复制方式将传输队列中的文件通过IP网络传输到目标端存储。

2.如权利要求1所述的端到端小文件归集传输和存储的一体化系统，其特征在于，

所述客户端归集系统，部署于产生海量小文件的应用服务器；

所述跨网络传输复制系统，部署于独立服务器或共用应用服务器；

所述目标端存储系统，部署于独立的单台服务器或多台服务器集群。

3.如权利要求1所述的端到端小文件归集传输和存储的一体化系统，其特征在于，所述客户端归集系统，还用于：

对获取文件的大小进行判断：当文件小于等于设定的标准值时，则认为该文件为小文件；当文件大于设定的标准值时，则认为该文件为大文件；其中所述标准值为1MB、4MB、10MB中的任一种，或者在小于10MB范围内自定义标准值。

4.如权利要求1所述的端到端小文件归集传输和存储的一体化系统，其特征在于，所述客户端归集系统，还用于：

通过预设值判断是否结束小文件实体数据归集；其中，所述预设值为10MB、20MB、40MB中的任一种，或者在10MB-100MB之间自定义标准值。

5.如权利要求1所述的端到端小文件归集传输和存储的一体化系统，其特征在于，所述目标端存储系统，还用于：

对于修改的文件，在目标端存储系统中更新地址索引，并逐项记录修改前旧文件地址，再定期进行统一后台空间回收；

对于删除文件，在目标端存储系统中删除地址索引，并逐项记录删除文件地址，再定期进行统一后台空间回收。

6.如权利要求1所述的端到端小文件归集传输和存储的一体化系统，其特征在于，所述目标端存储系统，还用于：

对于存在于归集重构的大文件实体中的小文件，通过查找小文件地址索引和归集信息并对应找到大文件实体中的小文件地址和长度、以实现对小文件的读取访问。

7.如权利要求1所述的端到端小文件归集传输和存储的一体化系统，其特征在于，当同时传输和存储原始大文件时，

所述客户端归集系统，还用于将原始大文件直接加入传输队列；

所述跨网络传输复制系统，还用于将原始大文件通过IP网络传输至所述目标端存储系统中；

所述目标端存储系统，还用于将原始大文件直接接收地址索引后保存到文件实体层。