[发明专利]一种数据处理方法及装置

说明书

本发明公开了一种数据处理方法及装置，包括：获取原始的运价数据，并基于预设的验证文件对原始的运价数据进行筛选，得到有效的运价数据；该验证文件是基于航班班期信息得到的，验证文件包括有效的机场信息和/或城市信息；然后，再对有效的运价数据进行预处理。由此可知，本申请通过有效的航班班期信息预先得到了包含有效的运价数据的验证文件，并通过该验证文件对运价数据进行筛选，这样可以剔除掉大量的无效数据，例如航班班期不涉及的机场或者城市，基于此，大大的降低了原始运价数据的数据量。在这种情况下再对缩减了数据量的原始运价数据进行预处理时，可以提升对原始运价数据的处理效率，并且也大大的缩减了预处理后的运价数据的数据量。

技术领域

本发明涉及数据处理领域，尤其涉及一种数据处理方法及装置。

背景技术

运价又称费率，是指承运人对所运输的每一重量单位货物所收取的自始发地机场至目的地机场的航空费用。航运系统中，为了确定运输的价钱或者为了选取合适的运输线路，需要通过运价数据进行计算。

在国际航运中，由于原始的运价数据的数据量很大而且包含的信息也较多，用户不方便从海量的原始运价数据中获取需要的运价数据用于运价计算，为了解决上述问题，通常会对原始的运价数据进行预处理，例如，将原始的原价数据按照一定的规则存储到数据库中，以方便用户调取。

但是，由于原始原价数据的数据量是海量的，导致对运价数据进行预处理的效率较低，并且，预处理后得到的数据量也很大，占用的存储空间大，这样也会对调取预处理的数据的效率产生影响。

发明内容

有鉴于此，本发明实施例公开了一种数据处理方法及装置，解决了现有技术中，由于原始运价数据的数据量过大，导致存储空间过大的问题。

本发明实施例公开了一种数据处理方法，其特征在于，包括：

获取原始的运价数据；

基于预设的验证文件对所述原始的运价数据进行筛选，得到有效的运价数据；所述验证文件是基于航班班期信息得到的，所述验证文件包括航班班期信息对应的机场信息和/或城市信息；

对有效的运价数据进行预处理。

可选的，所述基于预设的验证文件对运价数据进行筛选，得到有效的运价数据，包括：

针对每一条运价数据进行如下处理：

判断所述验证文件中是否包含该条运价数据对应的始发地和目的地；

在验证文件中不包含该条运价数据对应的始发地或者目的地的情况下，删除该条运价数据。

可选的，还包括：

构建验证文件，包括：

获取包含预设时间段内航班班期信息的航班数据文件；

从所述航班数据文件中获取有效航线信息对应的机场信息，并将所述有效航线信息对应的机场信息添加到备选列表中；所述机场信息包括始发地机场信息和目的地机场信息；

对备选列表中的机场信息进行去重处理；

验证备选列表中的机场信息的合法性，筛选出合法的机场信息；

基于备选列表中包含信息，构建验证文件。

可选的，所述航班数据文件包括SSIM数据文件和预设的航班补偿文件；所述航班补偿文件中包括私有航班班期对应的机场信息。

可选的，还包括：

构建航班补偿文件，包括：

获取私有航班班期数据；

从所述私有航班班期数据中获取有效航线信息对应的机场信息；所述机场信息包括始发地机场信息和目的地机场信息；