[发明专利]一种基于消息队列的并行雷达数据处理方法

说明书

本发明公开了一种基于消息队列的并行雷达数据处理方法，即发送端根据业务需求，将雷达原始回波数据根据数据帧结构分割成独立的数据块，发送给消息输入队列，处理模块采用竞争方式抢占消息进行所述数据块的数据处理，并将结果发送给输出队列，接收端将所述结果进行出队列处理，并对处理结果进行合并。本发明将雷达数据处理过程中的各个模块抽取成单独的程序，独立运行，每个程序只处理单一的数据，减少了模块间的耦合程度；对于耗时的处理流程，可在满足硬件需求的情况下部署多个处理模块进行加速数据处理过程，提高雷达数据处理的效率和实时性。

技术领域

本发明涉及计算机数据处理领域，尤其涉及一种基于消息队列的并行雷达数据处理方法。

背景技术

通过加载和解析获取的雷达实测数据，对原始回波数据进行野值剔除，对窄带回波数据进行脉压处理，对宽带原始回波数据进行降噪、对齐、成像、多目标分割处理，并对解析后的数据进行存储，用于后续数据回放、特征提取和目标识别等。如何快速地处理雷达实测数据，对外场实验和实验室研究具有重要意义。

随着计算机技术的发展，高性能计算朝着多CPU多核计算、GPU计算、集群计算等方向发展，为充分发挥计算机的处理能力、提高数据处理效率，常见的做法是对程序进行并行化。并行化常用的方法主要是多线程/进程方式，该方式需要修改原有程序处理逻辑，容易出现死锁等问题，编程难度大。Actor模式是一个解决分布式计算的数学模型，其中Actor是计算实体，它接收和处理接收到的消息，能够与其他Actor并行地进行协作。通过消息队列，应用程序开发人员可以通过发送和接收消息，方便地与其他程序进行快速可靠的通信，减少模块间的耦合，提高程序的可靠性和稳定性。

发明内容

针对上述现有技术存在的状态，本发明提供一种基于消息队列的并行雷达数据处理方法，充分利用多核CPU、GPU加速雷达数据处理，提高数据处理效率，减少并行程序开发难度。

本发明提供一种基于消息队列的并行雷达数据处理方法，其改进之处在于，发送端根据业务需求，将雷达原始回波数据根据数据帧结构分割成独立的数据块，发送给消息输入队列，处理模块采用竞争方式抢占消息进行所述数据块的数据处理，并将结果发送给输出队列，接收端将所述结果进行出队列处理，并对处理结果进行合并。

优选的，所述发送端和所述接收端的处理模块保持原有单线程方式进行数据处理，无需进行复杂的多线程开发；当存在多个发送端和接收端时，系统按照生产者-消费者方式并行地进行数据处理。

较优选的，通过设置不同的消息类型，每种消息类型对应一个消息队列，同一类型的处理模块只处理所述消息队列中某一特定类型的消息；多个同类型处理模块并行化处理数据；

所述处理模块根据所述消息类型的数量进行增减。

较优选的，设置重试队列，保存执行异常的数据，根据重试策略重新被其他处理模块执行。

较优选的，所述特定类型的消息包括雷达的原始数据、宽带回波数据、窄带回波数据、宽带回波处理结果和窄带回波处理结果。

较优选的，通过优化消息队列参数，提高I/O吞吐率，保证了消息队列的I/O时间远小于处理模块的处理时间，系统可提高处理效率。

本发明的技术方案中，将雷达数据处理过程中的各个模块抽取成单独的程序，独立运行，每个程序只处理单一的数据，减少了模块间的耦合程度；对于耗时的处理流程，可在满足硬件需求的情况下部署多个处理模块进行加速数据处理过程，提高雷达数据处理的效率和实时性。

附图说明

图1为本发明实施例的基于消息队列的并行程序处理流程示意图；

图2为本发明实施例的基于消息队列的并行雷达数据处理流程示意图；

图3为本发明实施例的程序部署示意图；