[发明专利]一种基于FPGA的高速连续数据流存储处理装置及方法

说明书

本发明公开了一种基于FPGA的高速连续数据流存储处理装置及方法，属于数据流存储处理领域。本方法面对多路并行高速数据，可完成并行数据流三级组帧，组帧后的数据可按照文件，数据段，数据块三种大小完成数据搜索；本方法采用FPGA全并行方案组帧数据流，完成数据流处理过程；本方法针对组帧后的高速数据流，提出了高速传输口数据传输控制方案，通过数据流组帧缓存端和数据存储端之间的交互控制，完成在线切换数据存储板，并保证数据存储处理连续。

技术领域

本发明属于数据流存储处理领域，具体涉及一种基于FPGA的高速连续数据流存储处理装置及方法。

背景技术

现有的基于FPGA实现的数据流组帧方法，利用原始数据和GPS模块内的时间信息结合秒脉冲完成组帧，数据流内含有原始数据和时间信息，组帧模式为单级组帧模式。数据流内含有的附加信息有限，采用单级模式组帧数据流，无法对数据进行灵活搜索，数据查询效率低。采用DDR缓存数据，最终将数据存储到硬盘中，当需要扩展系统存储空间而在系统中搭载多个存储模块时，往往缺乏有效的控制机制，以保证切换存储模块的过程中数据可以高速连续存储。

高速连续数据流存储处理是数据存储处理领域的一项关键技术。

随着通信技术的飞速发展，需要获取、处理更高采样率的数据，瞬时数据处理速率需要匹配每秒数十Gb的处理速度。如何完成高速并行数据的数据流组帧保证后续数据搜索的灵活性，并将高速数据流连续存储下来成为数据处理业务领域的重要课题。面对多路并行的高速数据，为了提高后续数据搜索的灵活性和高效性，亟需优化数据流组帧，以满足数据块灵活检索的需求。并且，为了存储高速连续数据，需要设计可靠的数据存储处理方案，保证数据可靠地连续存储到存储模块中。

现有技术，基于FPGA的数据流组帧原理如图1所示，基于FPGA算法从GPS模块等时间系统中获得时间信息，利用秒脉冲进行时间同步，获得整秒时间信息，然后利用系统时钟生成小数秒时间信息。结合原始数据和时间数据，按图1中的组帧格式，生成数据流。此方案生成的数据流进行解析，在帧头中可以解析出时间信息，该帧头后可解析出该对应时刻采集到的数据流第一个数据点及后续数据。

组帧生成后的数据写入存储模块完成数据存储，为了适配存储模块变化的数据写入速率，需要将数据流写入DDR模块中进行缓存。最后，数据从DDR模块中缓存，写入数据存储模块中，完成数据存储。

现有技术，采用单级模式完成数据流组帧，在后续数据查询过程中，搜索感兴趣数据的方式单一，效率低。同时，数据流中缺少采样率，校准信息等与采集通道相关的参数信息，数据后续处理过程中可分析信息有限。数据连续存储时，面对多个存储模块存储数据时缺乏实时性好的控制方案，控制在线切换存储单元的过程中数据存储的连续性。

本发明提出了一种多级数据流组帧方案，采用三级数据(文件、数据段、数据块)组帧数据流，文件、数据段头、数据块头内含有丰富的头信息，数据可分析性好，可以灵活地按照多种长度进行数据搜索，提高数据查询效率；采用全并行的FPGA方法完成数据流组帧和数据存储处理，实时性高，速度快；针对高速数据存储处理，设计了高速数据连续存储处理控制方案，可方便的实现在线切换存储模块，保证存储模块切换过程中数据的连续。

发明内容

针对现有技术中存在的上述技术问题，本发明提出了一种基于FPGA的高速连续数据流存储处理装置及方法，设计合理，克服了现有技术的不足，具有良好的效果。

为了实现上述目的，本发明采用如下技术方案：

一种基于FPGA的高速连续数据流存储处理装置，包括FPGA、DDR数据缓存模块、高速传输口以及四块数据存储板；

FPGA，被配置为用于完成数据流组帧和高速口数据传输控制算法；

DDR数据缓存模块，被配置为用于完成高速数据缓存以适配存储板变化的数据存储速度；