[发明专利]一种基于FPGA的大数据量存储文件管理方法

说明书

本发明公开了一种基于FPGA的大数据量存储文件管理方法，采用FPGA硬件实现高速固态存储器接口，充分利用FPGA可编程优势，增强灵活性移植性，搭载的高速DDR3缓存芯片，解决大数据突发传输的需求，同时平衡高速固态盘存储器数据写入速率的波动性；DSP处理器实现文件信息/固态存储器数据回读的接收与处理；加入高速eMMC存储芯片，用作存储文件信息数据，加入eMMC存储器的目的是使得大数据能不间断的写入到固态存储器中保证数据写入的持续性。

技术领域

本发明属于数据存储领域，具体涉及一种基于FPGA的大数据量存储文件管理方法。

背景技术

随着现代战场信号环境的日益复杂多变，战场上新体制雷达、未知信号、复杂波形层出不穷，同时前端采样率和接收机信号分辨率的提高，使得战场电磁数据信息爆发式增长；有时无法实时分析外界电磁环境数据；对数据存储并支持事后回读分析的需求不断增强。为此，大量数据存储与管理的需求日益增强。较早的方法采用计算机挂载磁盘阵列进行数据存储，或者FPGA挂载固态硬盘进行数据采集直接存储，但都会带来很多弊端，比如计算机挂磁盘阵列会导致设备非常庞大，无法满足轻量化需求；而FPGA数据直采存储，无法对不同的数据进行分类管理，会导致数据回读的单一性。

发明内容

本发明的目的在于提供一种基于FPGA的大数据量存储文件管理方法，满足设备轻量化需求以及回读数据种类的多样性。本发明利用FPGA的高带宽优势，完成大数据的采集，通过特定的编码模块，打入特殊编码字符，这些字符是为了构建文件信息，而后流入高速DDR缓存，从DDR中读出数据时，写入到后端固态硬盘中；写入数据的同时需要记录后端的固态盘实时写入扇区地址、写入数据长度、写入时间、数据类型和文件名信息，将这些信息形成文件信息条目记录于高速eMMC中存储。根据数据吞吐率大小可以灵活改变FPGA挂载固态盘数量。

实现本发明目的的技术解决方案为：一种基于FPGA的大数据量存储文件管理方法，所述大数据量大于1GB，具体包括以下步骤：

步骤1、FPGA接收原始大数据，对数据流添加特殊的编码字符，得到编码后的数据流，转入步骤2；

步骤2、对编码后的数据流实时写入到高速DDR3缓存中，平衡固态存储器写入速率的波动性，转入步骤3；

步骤3、读出步骤2中编码后的数据流，并对其编码字符进行检测，记录当前扇区地址，当L2/L3数据写完后，更新L2/L3文件信息中的数据长度信息，最后完成存储时长时，生成L1文件信息，转入步骤4；

步骤4、步骤3中的包含特殊编码的数据流写入到固态存储器中进行储存，转入步骤5；

步骤5、步骤3中生成的L1、L2和L3文件信息打包整合发送给DSP处理器，转入步骤6；

步骤6、步骤5中接收到的L1、L2、L3文件信息在DSP处理器中进行分类整合，规划写入的eMMC存储地址，启动eMMC写操作，转入步骤7；

步骤7、DSP处理器接收到文件信息同步指令后，将eMMC中存储的文件信息上报到服务器，转入步骤8；

步骤8、DSP处理器接收到读控制指令后，将指令转发给FPGA，FPGA对读指令进行解析，提取出扇区起始地址和读取总长度，将对应的数据从固态存储器中读出转发给DSP处理器，由DSP处理器进行转发上报。

本发明与现有技术相比，其显著优点在于：

（1）本发明采用了FPGA来实现文件管理的功能，实现轻量化。

（2）数据回读简单易于管理，文件信息的管理直接对应大数据的管理，管理软件的数据处理压力大大降低。

附图说明

图1为本发明所述的基于FPGA的大数据量存储文件管理方法数据写入流程图。

图2为本发明所述的基于FPGA的大数据量存储文件管理方法数据读出流程图。

图3为本发明数据流添加特殊编码字符结构示意图。