[发明专利]一种基于云计算的雷达数据分析方法

说明书

技术领域

本发明涉及计算机应用技术领域，尤其涉及基于云计算中的雷达数据分析方法，可用于处理和分析海量雷达数据。

背景技术

在对海量雷达数据进行处理时，用云计算的方法进行处理，其处理时间随云计算平台节点的增加而下降。本发明运用云计算的方式，并行处理雷达数据，可以大幅减少处理时间。并且随着数据量的增加，时间优势越大。

本发明中提及的云计算平台是指Sector/Shpere。Sector/Shpere平台，是用C++语言搭建的高效云存储和云计算平台，它由分布式文件存储系统（Sector）和搭建在Sector之上的分布式计算系统（Sphere）组成。Sector/Sphere作者公布的论文实验数据显示，Sector/Sphere平台的计算速度是Hadoop平台的2～4倍，并且随平台节点的增加而优势更大。

Sphere是建立在Sector之上的分布式运算系统，它为用户提供了一套简单的接口，以便用户编写分布式应用程序。Sphere数据处理的工作方式是通过Shpere提供的接口加载用户自定义功能函数UDF(UDF：User-Defined Function)。用户在UDF中自定义功能函数。

自定义功能函数UDF运行在Sector/Shpere平台的master节点上。

Sphere系统接收一个数据集做为输入，将数据集划分为多个数据段，并将数据段分配给Shpere数据处理进程SPE（SPE：Sphere Processing Engine），生成最终结果。数据集可以是一个文件也可以是多个文件，一个SPE可以处理一个数据记录、一组数据记录、或者整个段。SPE的工作方式是加载用户自定义功能函数UDF（UDF：User Defined Function），根据UDF的具体功能函数处理相应数据。对于多核计算机，Shpere可以建立多个SPE，每一个SPE分配到一个核上实现集群并行和单机多核并行。与标准的MapReduce处理过程不同的是，Sphere不存在两个阶段的划分，数据处理过程统一为用户自定义功能阶段，前一个功能阶段的输出结果可以作为后一个功能阶段的输入，对数据集进行多次处理。将上述优势都应用在实践中是件很复杂挑战性很强的工作。

发明内容

本发明的目的提供一种基于云计算的雷达数据分析方法。即通过并行处理来自空管记录设备记录的海量雷达数据，建立以时间为Key，其它所有内容为Value的Key/Value键值对，再经过分割（partition），排序（compare），归并（reduce），得出航迹信息后，进行告警计算，以实现雷达数据的高速处理与告警。

实现本发明目的之技术解决方案如下：首先要建立一个动态库即用户自定义的功能函数UDF，在动态库中实现MapReduce的相关函数，并通过加载动态库的方式调用其中的MapReduce相关函数。通过并行解析空管（ATC）记录设备记录的海量雷达数据，解析出雷达数据后，建立以时间为Key，其它所有内容为Value的Key/Value键值对，再经过分割（partition），排序（compare），归并（reduce），实现雷达数据的高速处理。

在本发明中建立一个MapReduce的模型来进行雷达数据处理，使MapReduce架构的程序能够在大量的普通配置的计算机上实现并行化处理。

一种基于云计算的雷达数据分析方法，包括使用分布式文件存储系统/分布式计算系统（Sector/Sphere）云平台存储雷达数据，通过建立MapReduce模型以云计算的方式对雷达数据进行高速处理；尤其在主程序Master中通过传入参数指定被处理雷达数据的雷达类型以及Key/Value键值对的切分（Partition）和排序（Compare）方式、雷达对应的扫描周期，通过在主程序Master中加载动态库的方式，将雷达类型等参数传递至动态库的Map函数和Reduce函数中;在Map阶段，根据雷达类型确定雷达处理函数，将读取出来的雷达数据进行解析并保存在名为航迹信息链表m_target_track_list中，根据航迹信息链表m_target_track_list算出历史告警信息,再根据切分（Partition）和排序（Compare）的方式，进行Key/Value键值对的建立，后切分成不同数据块，排序之后，进行归并（Reduce）;最终生成的结果，包括一个雷达解析数据，与其相对应的索引文件，索引文件中标识出每一条记录的起始位置和结束位置，以及所有告警计算文件及对应的索引文件。