[发明专利]一种端到端小文件归集传输和存储的一体化系统及方法

说明书

本发明公开了一种端到端小文件归集传输和存储的一体化系统及方法，其涉及小文件保存保护和备份技术领域。该系统包括：依次通讯连接的客户端归集系统、跨网络传输复制系统和目标端存储系统。本发明通过在笔记本、台式机、应用服务器的源端的开始将需要传输的小文件归集重构为大文件，同时在传输和最后的保存存储过程中都保持大文件形式，实现端到端的传输、保存、备份，整体过程无需重新拆解为小文件，理想条件下对小文件传输、保存、备份的效率可提升10倍以上，大幅度缩短传输保存的时间，且在目标端存储保存的归集重构的大文件在保持小文件原格式实体数据内容的同时可用于小文件在线读取访问。

技术领域

本发明涉及小文件保存保护和备份技术领域，特别涉及一种端到端小文件归集传输和存储的一体化系统及方法。

背景技术

计算机系统文件可分为大文件和小文件。大小文件的定义根据具体场景的定义不同。通常认为大小在1MB以内的文件称为小文件，也可以根据系统特点选择比如1MB、4MB、10MB做为是否小文件的判断依据。各行业每天都在产生大量的小文件。以医疗核磁影像为例，虽然患者拿到手的只有几张片子，而实际上，一张完整核磁影像是由上千张原始小文件组成，每个小文件大小在150K-300KB左右。以芯片制造的产线为例，每个芯片制造的重要环节需要留存多个点的拍摄图片，以进行人工和大数据检查，同时做为后期问题芯片的问题分析依据，其中大量图片小于1MB。再以银行柜台票据为例，每笔柜面交易都会通过高拍仪产生多张200KB左右的票据影像，按照普通200TB容量其文件数量多达10亿个。这些小文件根据合规性要求都需要长期保存。

小文件的传输和保存是一个业界难题，即使网络带宽足够，但是海量小文件顺序传输保存会极大降低传输效率，极端情况下，1MB以下的小文件比10MB以上大文件的传输保存时间会高出10倍以上，这也是很多企业重要生产数据小文件因为数量庞大没有时间窗口进行传输、保存、保护和备份迁移的原因。现有技术中也缺少对这些小文件进行端到端高效传输、保存、保护的一体化解决方案。

有些产品在文件保存的存储端采用小文件打包合并存储以提高数据存储效率，但是从应用服务器的源端到目标存储端的传输还是小文件顺序传输，即使存储效率很高，也会因为小文件传输瓶颈导致端到端效率很低；有些产品在传输过程中采用将小文件打包合并后进行传送的技术，但是到达目标端存储之前还需要解包后保存，也会因为小文件保存瓶颈导致端到端效率很低。

针对上述的问题，目前业界尚未提出有效的端到端小文件传输和保存一体化解决方案。

发明内容

基于此，有必要针对上述技术问题，提供一种端到端小文件归集传输和存储的一体化系统及方法。

本发明实施例提供的一种端到端小文件归集传输和存储的一体化系统，包括：依次通讯连接的客户端归集系统、跨网络传输复制系统和目标端存储系统；

所述客户端归集系统，用于将小文件实体数据归集重构形成大文件，并在大文件后段写入归集信息：自身归集信息的起始位置、以及每个归集小文件的起始位置和长度；

所述跨网络传输复制系统，用于将所述客户端归集系统中归集重构的大文件通过IP网络传输至所述目标端存储系统中；

所述目标端存储系统，其包括文件地址索引层和文件实体层；用于对接收的归集重构的大文件，根据归集信息将归集重构的大文件中小文件归集索引地址转换为包含归集信息的文件索引地址保存到文件地址索引层，再将归集重构的大文件中的实体部分文件保存到文件实体层。

进一步地，所述客户端归集系统，部署于产生海量小文件的应用服务器；所述跨网络传输复制系统，部署于独立服务器或共用应用服务器；所述目标端存储系统，部署于独立的单台服务器或多台服务器集群。

进一步地，所述客户端归集系统，还用于：