[发明专利]一种GPS数据的保存方法

说明书

技术领域

本发明涉及一种数据的保存方法，尤其涉及一种GPS数据的保存方法。

背景技术

车联网系统用于提供对车辆的监控和调度等服务，而这些服务的基础在于车辆GPS数据的保存、运算与处理，GPS数据存在两个特点：并发量大和数据量大，一条典型的GPS数据，一般包含以下字段：经度、纬度、速度、时间和方向；以一个大中型GPS系统为例，如果接入2W辆车，平均每5秒钟上报一个GPS数据包，保存最近1年历史数据，每辆车每天产生约17000条数据，每月约50W条，每年600W条；2W辆车一年产生1200亿条数据。

传统软件中一般使用数据库系统来进行数据存取，那么，首先面临的问题是磁盘空间利用率低，占用存储空间巨大；以Mysql + Linux操作系统为例，保存1000万条数据占用0.75G磁盘空间；1200亿条数据需要大约9T 空间；如果针对一些特殊运营车辆行业，需要保存3-5年数据，则需要几十T的磁盘空间。

其次是读写性能无法满足要求，对于大型车联网系统，每秒钟上报的GPS数据量可能过万，Mysql 5.1版 + 64位Linux， i7 3.4G 4核CPU + 1T 企业级硬盘 + 8G内存，测试的每秒写入速度最大约7000条，根本无法满足大型系统并发过万的写入要求；而且数据库系统在单表数据量达到数亿条后，读取性能会急剧下降，必须采用分表分库等手段来优化，提升了系统开发难度。

发明内容

本发明所要解决的技术问题是需要提供一种高性能和高存储空间利用率的GPS数据的保存方法，进而解决车联网系统中GPS数据的高并发和大数据量存取等问题。

对此，本发明提供一种GPS数据的保存方法，包括以下步骤：

初始化步骤，将GPS数据文件初始化后，当收到一个数据写入请求时，首先判断是否存在索引，如果没有索引则跳转至索引上限判断步骤，如果有索引则根据索引跳转到最后一个数据块，并进入数据块判断步骤；

索引上限判断步骤，判断是否已达到索引上限，若是则返回写入失败信息，若否则跳转至新建数据块步骤；

新建数据块步骤，新建数据块，并将数据写入至空白区，新建并更新索引，返回写入成功信息；

以及，数据块判断步骤，判断当前数据块是否已满，未满则直接写入数据至数据块最近的一个空白区，已满则新建数据块并更新索引，在新数据块中写入数据并更新上一个数据块的索引，返回写入成功信息；

其中，所述GPS数据文件包括保留区、索引区和数据区，所述保留区设置在GPS数据文件的索引区前面，所述数据区设置在GPS数据文件的索引区后面。

本发明的索引区设置在GPS数据文件的头部，初始化的时候全部生成并置零；每一条GPS数据采用严格长度进行定长存储，并预留了扩展字段，即预留了保留区，使得其中一条GPS数据的损坏不会影响其它GPS数据的读取。

本发明的新生成的GPS数据的写入之前需要初始化，初始化的步骤包括创建新数据文件、设置文件大小和将文件内容全部设置为0；在初始化之后开始实现GPS数据的写入，写入过程包括以下步骤：先判断是否存在此车的索引，如果有索引，则表明不是第一次存放GPS数据，根据索引跳转到最后一个数据块，并判断数据块是否已经满，未满则直接写入GPS数据在数据块最近的一个空白区，如果数据块已满则新建数据块，在新数据块中写入数据，并更新索引；如果没有索引，则说明是第一次收到此车数据，则先新建数据块，并写入数据在新的数据块，然后更新索引；如果没有索引且索引区已满，则写入失败。

本发明的进一步改进在于，所述GPS数据文件的每一条GPS数据均采用二进制格式进行存储，所述数据区包括多个固定大小的数据块，每一个数据块设置有指向下一个数据块的索引指针，使得所有的数据块形成一个链表。

本发明将每个数据块规定为固定大小，既能提高存储性能，又能有效地利用空间，且每一个数据块均自带指向下一个数据块的索引指针，这样所有数据块就会形成一个链表，构成一级索引。

本发明的进一步改进在于，每一条GPS数据占用20个字节，分别包括4Byte的经度数据、4Byte的纬度数据、4Byte的时间数据、1Byte的速度数据、1Byte的方向数据和6Byte的保留数据。本发明对GPS数据进行了自定义的压缩，提高了存储效率。