[发明专利]一种基于层次分析法的AIS数据质量评估方法

权利要求书

1.一种基于层次分析法的AIS数据质量评估方法，其特征在于，包括如下步骤：

S1、获取船舶的AIS数据，并将其进行分类得到船舶动态数据、船舶静态数据和船舶航次数据；

S2、根据导致所述AIS数据产生质量问题的原因，确定所述获取的AIS数据是否存在数据重复、数据缺失或数据错误；

S3、根据AIS数据的特点，确定AIS数据质量指标的评标标准；

S4、基于所述确定的AIS数据质量指标的评标标准，利用层次分析法建立AIS数据质量评价指标体系；

S5、确定AIS数据质量评价指标的相对权重值，建立综合评价函数，得出数据质量综合得分。

2.根据权利要求1所述的基于层次分析法的AIS数据质量评估方法，其特征在于，所述船舶动态数据主要包括船位、国际协调时、对地航向、对地航速、航迹向、航行状态、转向率、横倾角、纵倾和横摆；所述船舶静态数据主要包括IMO编码、呼号和船名、船的长度和宽度、船的类型、定位天线在船上的位置；所述船舶航次数据主要包括船舶吃水、危险货物类型、目的港和预计到达时间、航行计划、简明的安全信息。

3.根据权利要求1所述的基于层次分析法的AIS数据质量评估方法，其特征在于，所述步骤S2中导致所述AIS数据产生质量问题的原因包括设备问题、AIS系统自身局限性、环境因素、不同来源数据进行融合时出现的问题以及人为因素。

4.根据权利要求1所述的基于层次分析法的AIS数据质量评估方法，其特征在于，所述步骤S3具体包括：

S31、假设AIS数据集T中共有n条AIS数据，将AIS数据集表示为T＝{P₁,P₂,…,P_n}，其中P_i为每一条AIS数据，AIS数据共有m个特征，表示为C_i＝{K₁,V₁,K₂,V₂,…,K_m,V_m}，其中，K表示特征的属性；V表示特征的值；m个特征中包含m_d个动态信息，m_s个静态信息，则航次信息数量为m-m_d-m_s；

S32、根据AIS数据特点，对AIS数据集T进行第一次抽样；

第一次抽样以船舶海上移动业务识别码MMSI为单位，不放回地随机抽取AIS数据集T中整条船舶的数据，直到抽取的数据量达到第一次抽样比率R₁为止，共抽样j条船舶的数据，得到样本数据集T₁；所述第一次抽样比率按照如下公式确定：

其中，R₁表示第一次抽样比率，n_i表示第i条船舶MMSI包含的数据量；

S33、对AIS数据集T进行第二次抽样；

第二次抽样先将AIS数据集T中的动态数据全部删除，再以单条数据为单位，不放回地随机抽取数据，直到抽取的数据量达到第二次抽样比率R₂为止，共抽样n'条船舶的数据，得到样本数据集T₂；所述第二次抽样比率按照如下公式确定：

其中，R₂表示第二次抽样比率；

S34、建立数据质量评估标准，确定度量方式；

从唯一性、完整性、正确性、一致性和有效性五个大方面对数据进行评估，具体数据质量评估标准和指标评估模型如下：

唯一性指标包括每条数据唯一和MMSI唯一；所述每条数据唯一是指在AIS数据的生成过程中，每条数据的接收与生成都有一定的时间间隔，不可能存在两条或多条完全相同的数据，若存在，判断为数据重复；所述MMSI唯一是指MMSI是AIS船台的唯一识别码，不会因为船舶买卖而变更，AIS系统采集数据时依靠船载AIS船载终端内人工输入的MMSI号码，只有输入MMSI号码，AIS船台才能传输信息，如果输入有误的MMSI号码，会导致水域内出现2艘及以上的船舶MMSI一致的情况，若存在，判断为数据重复或数据错误；

所述每条数据唯一的评估模型如下：

所述MMSI唯一的评估模型如下：

其中，所述每条数据唯一的评估模型和所述MMSI唯一的评估模型均使用样本数据集T₁，U_data表示非完全重复数据所占的比例；U_MMSI表示船舶与MMSI能正确一一对应所占的比例；n′_i表示对第j条船的i条数据去重后剩余的数据量；F₁(U_k)为判断每条数据与船舶MMSI是否正确对应的函数，若正确，则为1，若不正确，则为0；

完整性指标包括数据集完整和船舶轨迹记录完整；所述数据集完整是指正常情况下，AIS数据集中各个字段的内容都是完整的，若为空，判断为数据缺失；所述船舶轨迹记录完整是指一条高质量的船舶轨迹包含完整的轨迹记录，严格按照操纵情况对数据进行等间隔采样，若时动态信息报告时间超过标准时间，说明在此期间船舶缺失若干条AIS信息；

所述数据集完整的评估模型如下：

所述船舶轨迹记录完整的评估模型如下：

其中，所述数据集完整的评估模型和所述船舶轨迹记录完整的评估模型均使用样本数据集T₁，C_set表示完整数据所占的比例，C_tarjectory表示未记录数据与所有数据的比例；F₂(V_k)为判断C_i内特征值V_k非空的函数，若非空，则为1，若为空，则为0；F₃(S_kx)为计算该数据时间戳与前一数据时间戳的差值函数；S_kx(x＝0,1,…,6)表示操纵情况；t_x(x＝0,1,…,6)表示操纵情况对应的采样频率；

正确性指标包括动态信息正确、静态信息正确、航次信息正确和时间正确；所述动态信息正确是指动态数据本身的范围限制或规范，若内容超出了理论范围，判断为数据错误；所述静态信息正确是指静态数据本身有固定格式，若内容不符合规范，判断为数据错误；所述航次信息正确是指航次数据有固定格式，若内容不符合规范，判断为数据错误；所述时间正确是指从AIS接收站收集的AIS数据标有外部时间戳，称为记录时间；在生成AIS报告的过程中，通信时间戳会被编码到部分位置报告中，称为生成时间；记录时间标记每条位置报告的时间，但是存在延迟现象，延迟大会导致数据错误，设定时间偏差超过3s，判断为数据错误；

所述动态信息正确的评估模型如下：

所述静态信息正确的评估模型如下：

所述航次信息正确的评估模型如下：

所述时间正确的评估模型如下：

其中，所述动态信息正确的评估模型和所述时间正确的评估模型使用样本数据集T₁，并于T₁中分离出动态信息和时间；所述静态信息正确的评估模型和航次信息正确的评估模型使用样本数据集T₂，并将T₂中静态信息和航次信息分离；A_dynamic表示动态信息正确率；A_static表示静态信息正确率；A_voyage表示航次信息正确率；A_time表示时间正确率；F₄(V_k)为判断动态数据是否正确的函数，若正确，则为1，若不正确，则为0；F₅(V_k)为判断静态数据是否正确的函数，若正确，则为1，若不正确，则为0；F₆(V_k)为判断航次信息是否正确的函数，若正确，则为1，若不正确，则为0；F₇(V_k)为判断时间偏差是否超过阈值的函数，若没超过，则为1，若超过，则为0；

一致性指标包括规范一致、字段内容一致和轨迹点来源一致；所述规范一致是指AIS语句在不同设备间转发时，若导航及通讯设备的协议语句不相同，产生语句标识符封装错乱，判断为不一致；所述字段内容一致性是指AIS报文格式与EMEA0183传输通信协议的一致性情况，区别于判断数据的正确性，若纬度和经度的特征值出现了船舶类型，则判断为报文字段不一致；所述轨迹点来源一致是指轨迹数据在同一个实验周期内被采集，显示时船舶在海图的不同位置上呈现反复跳跃，在一条AIS轨迹数据中，若轨迹数据不属于同一条船舶，判断该船舶轨迹不具备轨迹一致性；

所述规范一致的评估模型如下：

所述字段内容一致的评估模型如下：

所述轨迹点来源一致的评估模型如下：

其中，所述规范一致的评估模型、所述字段内容一致的评估模型以及所述轨迹点来源一致的评估模型均使用样本数据集T₁，I_standard表示使用最多的规范数量占所有规范的比例；I_content是指字段内容一致的数据与所有数据的比例，区别于数据的正确性；I_source表示轨迹点来源一致的轨迹数占轨迹总数的比例；sum(S)计算所有规范的数量；max(S)计算使用最多的规范数量；F₈(V_k)为判断字段内容是否一致的函数，若一致，则为1，若不一致，则为0；F₉(V_j)为判断轨迹内是否有外来数据的函数，若没有，则为1，若有，则为0；

有效性指标包括轨迹段相关性和时间有效性；所述轨迹段相关性是指在AIS轨迹中，所有连续的轨迹点处于相同时空背景，每个轨迹因为船舶运动彼此关联，同一数据集内的轨迹之间都存在关联性，即如果存在轨迹段彼此不相关的情况，则认为该船舶轨迹不具备轨迹段相关性；所述时间有效性是指AIS规则和国际标准每过几年就会进行一定的优化或修改，若使用的AIS数据的国际标准与当前国际标准不符，判断超过时间有效期，数据无效；

所述轨迹段相关性的评估模型如下：

所述时间有效性的评估模型如下：

其中，所述轨迹段相关性的评估模型和所述时间有效性的评估模型均使用样本数据集T₁，R为j条轨迹间比较Hausdorff距离相关性形成的矩阵；E_relate为矩阵中相关轨迹所占的比例；E_aging表示数据集时间上是否有效；F₁₀(h)为通过判断轨迹间是否符合相关性的函数；T_d为当前年份T_now与数据产生年份T_data的年份差值；ω₃为AIS数据集在使用时间上符合规范的时间阈值。