[发明专利]基于空管航迹大数据的航班运行态势规律分析方法

权利要求书

1.基于空管航迹大数据的航班运行态势规律分析方法，其特征在于，包括以下步骤：

步骤1、分析空管的航迹数据源，确认航迹数据来自何种监视设备或系统生成，选取合适的航迹数据源，执行步骤2；

步骤2、根据数据源中航迹数据类型及特点，开发和部署具体航迹数据采集软件；采集软件通过数据源输出接口和数据格式的方式进行，确认程序能够采集的航迹数据包含关键信息；数据采集器以二进制报文或文本文件的方式进行输出；执行步骤3；

步骤3、根据采集时间及采集范围的采集策略方式，综合考虑网络传输状况及数据量，采取定时批量从存储系统中采集或实时对接信号源实时采集的方式，根据预定的存储需求，将采集到的原始数据存储到大数据存储中心，执行步骤4；

步骤4、利用大数据预处理手段对存储的数据进行数据清洗及数据转换进行加工处理，通过去除废弃数据、纠正错误数据及格式转换操作，对数据进行初步的处理和加工，确保数据正确性、完整性、一致性、价值性；对于类别不同的数据源数据，利用数据标注分类完成数据分类集成；执行步骤5；

步骤5、针对空管航迹数据，按照标准数据格式，构建统一规范的航迹数据存储模型，对于预处理后的航迹数据进行规范存储，形成以航班对象和时间戳为主键索引的航班对象数据主题仓库；执行步骤6；

步骤6、分析航班对象的海量航迹数据，根据趋势规律分析业务需求，进行数据抽象，基于成熟的机器学习算法或自定义模型算法，形成能够处理和满足航迹趋势分析的算法模型，构建模型算法的参数计算方法，生成到算法与模型库中；执行步骤7；

步骤7、根据算法模型，借助大数据分布式计算引擎，构建以航班对象的航迹趋势规律计算任务流，采取多机集群的分布式计算处理方法，实现运行态势规律分析，执行步骤8；

步骤8、将步骤7的计算分析结果进行持久化存储，形成报表及数据视图的方式，执行步骤9；

步骤9、利用大数据可视化技术将分析结果以图形、列表、文字、散点地图渲染的方式通过可视化手段进行前端展示和交互分析；

步骤4中归纳出利用大数据手段进行空管航迹数据的预处理，包括航迹大数据的数据质量问题，航迹大数据的数据质量包括正确性、完整性、一致性及价值性，航迹大数据作为典型的时空序列数据，其数据处理包括以下步骤：

步骤4.1、分析步骤3存储的原始数据，编写航迹原始报文解析程序，根据报文头字节长度和报文体偏移值计算报文体开始读取位置，利用程序读入内存，按照报文格式解析并提取原始数据信息；

步骤4.2、判断航迹点数据中关键信息是否缺失或异常，如缺失或异常，则按照缺失异常字段对应修正规则执行修正补充，光滑噪声数据，数据处理成功则跳过步骤4.3，否则执行步骤4.3；

步骤4.3、对于无法修正或者无意义的数据，标记为废弃脏数据，丢弃错误数据实现数据清洗；

步骤4.4、分析需要转换和分类的数据字段，根据标准数据格式要求和转换分类规则，对特定字段实现格式、内容的转换和分类，具体包括以下步骤：

步骤4.4.1、分析提取的时间值字段是否为绝对时间，如果不是，需要计算为绝对时间；

步骤4.4.2、按照标准格式和统一单位，对各个数据字段进行数据规约，根据统一高度速度航向的数据进行计算单位和数据格式；

步骤4.4.3、按照分类规则，对于需要划分主题的数据进行按类别拆分，打上分类标签，完成空管航迹点数据标注相关工作；

步骤4.4.4、利用大数据分布式处理，将以上预处理手段通过分布式编程范式，提交给分布式计算引擎，通过并行计算任务实现海量航迹数据的预处理；

步骤6中根据航班运行趋势规律分析需求，将现实对象进行计算机能够处理的数据抽象，基于机器学习算法或自定义模型，形成能够处理和满足空管航班航迹数据趋势分析的算法模型，构建模型算法的参数计算方法，其计算包含以下步骤：

步骤6.1、数据抽象，将以航班为对象的航迹大数据转化为包含多维度特征的向量；其特征指是以航迹数据的时间、空间、高度、速度及航向为航班对象的属性字段；

步骤6.2、研究符合航迹大数据趋势规律分析得的机器学习算法，航迹规律分析属于机器学习中的无监督学习，采用迭代K均值聚类分析的方式可以实现航迹点趋势的分析；

步骤6.3、聚类分析：确定不同的航班对象选取有效的超参数k的取值算法；每一个航班轨迹数据集对应的k取值按以下方式选择：

通过航班对象数据范围内平均运行采样点个数才指定初始k值，其中，是该航班对象实际到达时间，是航班实际降落时间，Δt为航迹数据采集间隔；

步骤7中根据算法模型，借助大数据分布式计算引擎，构建以航班对象的航迹趋势规律计算的并行任务，实现运行态势规律分析，利用分布式内存计算模型RDD，所述的RDD即弹性分布式数据集来抽象表示每个航班的航迹数据集，对航班航迹数据的实现进行计算处理；其计算处理的方法包含以下步骤：

步骤7.1、基于大数据分布式编程范式编写分布式计算程序；

步骤7.2、从数据仓库中将预处理后的数据读取到分布式内存引擎中，基于步骤6的聚类算法模型进行分布式迭代计算，其算法的具体步骤如下：

第一步、根据步骤6.3确定的k值，随机在该航班某一批次航迹数据中选取k个航迹点作为初始聚类质心点，

第二步、重复下面过程直到收敛：

对于每一个数据样例点i,计算其应该属于的类：

其中，x⁽ⁱ⁾表示数据样例点i，c⁽ⁱ⁾表示x⁽ⁱ⁾所属的类；

对于每一个类j，重新计算该类的质心：

步骤7.3、通过逐步减低目标代价函数的误差值，当目标代价函数收敛或者达到一定的精度要求时，作为机器学习的终止条件，得到最终航班对象的聚类结果；其中，

代价函数如下：

式中，μ_c(i)表示第i个聚类的均值；所述的代价函数利用迭代的方法，通过大数据的分布式内存计算技术非常适合海量分布式数据的迭代计算，从而计算出每个航班航迹点的规律分布结果。