[发明专利]一种持续超高速的数据卸载系统

说明书

本发明公开了一种持续超高速的数据卸载系统，包括控制设备和多台磁盘阵列，用于对记录仪设备中的数据文件进行卸载，控制设备分别与记录仪设备、各磁盘阵列连接，记录仪设备与各磁盘阵列之间连接形成多个数据传输通道，各数据传输通道均带有特定的ID号，磁盘阵列中设置有转储单元，记录仪设备中设置有卸载服务单元，本发明利用并行计算技术，构建分布式存储系统，将数据卸载工具中数据转储的多线程读写操作修改为分布式并行操作，提高数据卸载的工作效率，大幅度提升数据转储的速度，从而减少海量超大数据卸载所需时间。

技术领域

本发明属于数据卸载技术领域，具体涉及一种持续超高速的数据卸载系统，采用多台磁盘阵列为后端存储，构建分布式卸载系统，针对海量超大数据在不同存储空间转储的应用需求，利用控制设备实现数据卸载前属性配置、数据卸载中状态监控、数据卸载后重新读取及使用，达到提升数据转储速度的目的。

背景技术

近年来，随着雷达、图像领域高分辨率传感器技术的发展，相应数据记录仪设备存储数据量越来越大，由于高速记录仪设备通常采用专用接口传输数据，故需要将记录仪中的数据卸载出来才能进行事后分析，但数十TB级数据卸载时间很长，所以数据卸载速度逐渐成为数据记录仪的又一项关键指标。以无人机应用为例，很多军用、民用无人机的机载数据记录仪的存储容量都在TB级别，通过计算机接口(USB、SATA)或网络接口，完成数据卸载都需要十几个小时，这直接影响数据分析的工作效率和数据记录仪的利用率。如何提升数据卸载速度成为当下必须面临和解决的问题。

为解决这个问题，业内设计了很多高性能存储系统硬件架构，主要思想是利用多线程和共享内存提升数据记录仪和地面服务器存储空间的并发读写速度，同时设计并行的高速数据转储接口，支撑对海量数据的高速卸载。目前常见的数据记录仪卸载硬件架构如图1所示，记录仪与磁盘阵列之间进行一对一的数据转存，在图1所示的硬件架构下，运行于地面服务器的传统数据卸载工具工作流程如附图2所示，具体描述如下：

1)从数据记录仪中读取指定大小的数据块到多个共享内存中；

2)启动多个读写线程，对共享内存进行操作，最终将数据写入服务器存储空间中，多个读写线程的数据存储的读写时序如附图3所示；

3)重复前述两步操作直到记录仪内所有数据存储到服务器存储空间中。

在上述数据卸载工具流程下，目前常见数据记录仪利用服务器多核架构，充分利用单台服务器资源，提升了一定数据卸载能力，但提升效果有限。

发明内容

本发明的目的在于提供一种持续超高速的数据卸载系统，利用并行计算技术，构建分布式存储系统，将数据卸载工具中数据转储的多线程读写操作修改为分布式并行操作，提高数据卸载的工作效率，大幅度提升数据转储的速度，从而减少海量超大数据卸载所需时间。

为实现上述目的，本发明所采取的技术方案如下：

一种持续超高速的数据卸载系统，包括控制设备和多台磁盘阵列，用于对记录仪设备中的数据文件进行卸载，所述控制设备分别与记录仪设备、各磁盘阵列连接，所述记录仪设备与各磁盘阵列之间连接形成多个数据传输通道，各数据传输通道均带有特定的ID号，所述磁盘阵列中设置有转储单元，所述记录仪设备中设置有卸载服务单元，其中：

所述控制设备，用于扫描记录仪设备和磁盘阵列，发送配置命令给卸载服务单元完成配置，选择记录仪设备上需要卸载的文件列表，向所述记录仪设备上的卸载服务单元下发卸载命令；

所述卸载服务单元，用于响应控制设备的配置命令，完成配置，并接收控制设备的卸载命令，根据卸载命令中携带的需要卸载的文件列表信息，扫描记录仪设备上的数据文件，获取需要卸载的文件列表，依次从文件列表中获取单个文件进行分片处理，拆分为大小相同的分片并进行编号，向配置的磁盘阵列发送操作指令，根据编号将分片通过数据传输通道发送，并在完成该单个文件的卸载后，更新元数据信息，将该元数据信息发送至指定的磁盘阵列上；