[发明专利]一种AIS数据处理方法

说明书

本发明公开了一种AIS数据处理方法，通过设定船速门槛阈值V_limitsp和经纬度门槛阈值对解码AIS数据集进行数据筛选，然后统计筛选解码AIS数据集中海上移动服务标识的个数，对筛选解码AIS数据集中所有的AIS数据以MMSI为基准进行主排序，以播发时间为基准进行升序排序，得到由m组排序AIS数据组成的排序解码AIS数据集，然后基于排序解码AIS数据集，根据数据更新距离的均值μ和标准差σ确定关键性阈值指标μ+3σ，将每组排序AIS数据中所有距离间隔大于μ+3σ的前后两条AIS数据均标记为异常数据，将标记为异常数据的每条AIS数据均从排序解码AIS数据集中剔除，得到处理后的AIS数据集；优点是数据处理过程简单，计算效率高，普适性、可移植性强。

技术领域

本发明涉及一种数据处理方法，尤其是涉及一种AIS数据处理方法。

背景技术

随着船舶普遍装备自动识别系统(Automatic Identification System,AIS)的出现，海上交通及相关研究领域进入了“大数据”时代。AIS数据包含多种信息，具有多源、海量、快速增长等特征，对其进行挖掘具有广泛的应用价值。AIS数据挖掘在水上交通管理、航路规划、安全监督、航运经济等方面有广泛的应用，而高质量的AIS数据是这些应用的核心基础。但是，由于环境干扰、设备因素、使用不当、信号传输等原因，AIS数据中不可避免地存在数据噪声，即存在异常数据，使得很多原始AIS数据无法反映真实的船舶动态规律。为了保证AIS数据的应用价值与挖掘质量，需要对AIS数据进行处理，将其内异常数据修复或者剔除。

目前，针对AIS异常数据的AIS数据处理方法相对较少，大致分为两类：基于单船单轨迹的AIS数据处理方法和基于统计模型的AIS数据处理方法。其中，基于单船单轨迹的AIS数据处理方法依据船舶的AIS数据，如船舶自身位置、速度与航向等，判断异常数据并进行修复，该处理方法比较简单，不需要历史数据，但依赖于判别模型，无法在高速采样AIS数据信息的小区域内应用，普适性较弱；基于统计模型的AIS数据处理方法主要采用给定的AIS数据集，建立船舶正常行为的统计模型，再应用统计模型对目标实例进行判断，如根据分类统计、历史轨迹统计、网格数据特征统计等处理异常数据，该处理方法具有较强的普适性，但在使用时仍需进行数据的物理完整性、空间逻辑完整性和时间精度识别等，处理过程比较复杂。

发明内容

本发明所要解决的技术问题是提供一种处理过程简单，且普适性强的AIS数据处理方法。

本发明解决上述技术问题所采用的技术方案为：一种AIS数据处理方法，包括以下步骤：

1)从交通运输部航海保障中心数据库获取以ASII格式存储的原始AIS数据集，运用AIS Decoder软件对原始AIS数据集进行解码得到由多条AIS数据构成的解码AIS数据集，每条AIS数据结构包含：发送时间(time stamp)、船名(ship name)、海上移动服务标识(Maritime Mobile Service Identity，MMSI)、经度(longitude)、纬度(latitude)、航速(speed)、航向(course)、船艏向(heading)、转向速率(turn of rotation)、船舶状态(status)、船舶尺度、吃水以及目的港；

2)设定船速门槛阈值V_limitsp和经纬度门槛阈值，经纬度门槛阈值包括经度最小值longitude_west、经度最大值longitude_east、纬度最小值latitude_south和纬度最大值latitude_north，其中，船速门槛阈值V_limitsp等于15kn，经度最小值longitude_west为研究水域西边界经度，经度最大值longitude_east为研究水域东边界经度，纬度最小值latitude_south为研究水域南边界纬度，纬度最大值latitude_north为研究水域北边界纬度；