[发明专利]一种高速公路数据中台数据统一存储管理方法及系统

说明书

本发明公开了一种高速公路数据中台数据统一存储管理方法及系统。方法包括：根据高速公路数据构建描述码序列，根据描述码序列的重要程度确定第一截止条件、第二截止条件、步长、压缩次数；设置第一滑动窗口与第二滑动窗口在描述码序列上滑动，两窗口相邻且不重叠；根据确定的条件，描述码序列压缩次数达到条件，将得到的描述码压缩加密序列存储至高速公路数据中台统一存储单元。利用本发明，实现了高速公路数据的统一存储，提高了高速公路数据的传输效率、存储系统的空间利用率、数据的隐私保护性能。

技术领域

本发明涉及高速公路数据分析、数据中台技术领域，具体涉及一种高速公路数据中台数据统一存储管理方法及系统。

背景技术

高速公路在日常运营过程中，产生了大量的、异构的数据，同时高速公路里程在不断增加，大数据的生成也在快速增长，需要处理的数据越来越多。大规模产生的数据给数据的存储以及分析带来的巨大的挑战，如何高效科学的存储这些大数据，并且能够对其进行快捷的访问和分析，更好的服务于交通，是一个至关重要的问题。本发明针对数据压缩存储能力不足问题，提出了一种统一存储管理方法与系统，构建数据压缩模型对数据进行压缩，提高数据压缩能力，加快数据在磁盘和网络中的传输速度，可以方便的管理不同类型交通数据，加强了数据的服务化，提高了系统的弹性伸缩能力。

发明内容

本发明的目的在于针对上述现有技术存在的缺陷，提出一种高速公路数据中台数据统一存储管理方法及系统。

一种高速公路数据中台数据统一存储管理方法，该方法包括：

步骤1，根据高速公路数据构建描述码序列，根据描述码序列的重要程度确定第一截止条件、第二截止条件、步长、压缩次数；设置第一滑动窗口与第二滑动窗口在描述码序列上滑动，两窗口相邻且不重叠；

步骤2，迭代执行以下操作直至第一滑动窗口尺寸满足第一截止条件，得到若干条预选记录：逐位增大第二滑动窗口直至窗口尺寸满足第二截止条件，从加密压缩表中筛选出预选记录，预选记录的第一动态数与第一滑动窗口内数据相同，预选记录的第二动态数与第二滑动窗口内数据相同；第一滑动窗口尺寸加一，第二滑动窗口向序列末尾滑动；

步骤3，若预选记录条数不为零，则根据预选记录的第一动态数、第二动态数获得第一置换数、第二置换数，并将置换数与动态数位数之差最大的记录作为压缩记录；用第一置换数、第二置换数替换压缩记录对应的两个滑动窗口内的数据；

步骤4，重置第一滑动窗口与第二滑动窗口的尺寸；若预选记录条数为零，则第一滑动窗口根据步长向序列末尾滑动；若预选记录条数不为零，则第一滑动窗口向序列末尾滑动直至与压缩记录对应的第二滑动窗口相邻且不重叠；

步骤5，根据第一滑动窗口、第二滑动窗口的位置与尺寸判断是否需要进行迭代，若是则转至步骤2，否则转至步骤6；

步骤6，重复步骤2-5直至循环次数达到压缩次数，将得到的描述码压缩加密序列存储至高速公路数据中台统一存储单元。

进一步的，所述步骤1还包括：若描述码序列的重要程度满足重要程度分割阈值条件，则转至步骤2，否则，执行以下操作：

步骤7a，根据第一滑动窗口尺寸确定第二滑动窗口尺寸；查询加密压缩表中是否存在预选记录，预选记录的第一动态数与第一滑动窗口内数据相同，预选记录的第二动态数与第二滑动窗口内数据相同；若存在，则结合预选记录的第一动态数、第二动态数获得第一置换数、第二置换数，用第一置换数、第二置换数替换两个滑动窗口内的数据，第一滑动窗口向序列末尾滑动至与第二滑动窗口相邻且不重叠；若不存在，则第一滑动窗口根据步长向序列末尾滑动；

步骤7b，循环执行步骤7a直至第二滑动窗口滑动至描述码序列末尾，得到一条压缩描述码序列；

步骤7c，循环执行步骤7a-7b直至第一滑动窗口尺寸满足第一截止条件，得到若干条压缩描述码序列；