[发明专利]一种高频数据存储方法、装置、计算机

说明书

本发明提供了一种高频数据存储方法、装置、计算机，任何一个拥有数据块读写句柄的类调用write方法后会从内存池中申请内存数据块并放入到所述通知队列中，当所述队列中有数据块时会唤醒所述文件流创建模块创建独立的文件并写入线程。文件写入线程后会释放数据块回到内存池中，每种已注册的数据类型因为分配了独立的内存池及线程资源，充分利用内存池及多线程技术从而有效的提高数据存储效率。

技术领域

本发明涉及激光雷达技术领域，尤其涉及一种高频数据存储方法、装置、计算机。

背景技术

激光雷达扫描系统作为一种高新科技工具，激光雷达技术可以快速获取高密集、高精度的激光点云数据，通过后期处理点云数据，能够建立精度为厘米级的三维立体模型。这种技术已经广泛应用于资源勘探、城市规划、农业开发、土地利用、环境监测、防震减灾等多个领域。激光雷达技术可以快速获取高密集、高精度的激光点云数据，通过后期处理点云数据，能够建立精度为厘米级的三维立体模型。然而，由于这种技术采集的数据量巨大(通常为TB级)，并且还伴随着惯导等多种数据。随着系统复杂度提高，数据存储存在以下几个问题：

(1)数据类型越来越多，不同种类存储方式不统一；

(2)数据量越来越大，导致存储效率低且后期数据拷贝困难；

(3)对使用的系统资源及存储状态无法有效监控。

发明内容

本发明的目的在于提供一种高频数据存储方法、装置、计算机，以解决背景技术中提到的技术问题。

为了达到上述目的，本发明提供了一种高频数据存储方法，包括：

注册待存储的数据类型，并为每个已注册的数据类型创建对应的内存池、通知队列、线程及数据块读写句柄；

实时监听所述通知队列，当通过所述数据块读写句柄从对应的内存池中申请数据块并写入对应的通知队列中时，将所述通知队列中的数据块取出并写入文件流中；

将文件流中包含的已注册的数据类型的数据块创建为独立的文件写入对应的线程中；

释放已写入线程的数据块回到对应的内存池中。

可选的，当释放已写入线程的数据块回到对应的内存池中之后，还包括：

停止文件写入对应的线程并关闭所述文件流。

可选的，拥有所述数据块读写句柄的类通过使用“write”的方法向所述通知队列写入所述数据块。

可选的，所述文件流为带压缩的文件流。

可选的，实时监听所述通知队列的步骤包括：

检索所述通知队列并判断所述通知队列是否为空，如果所述通知队列为空则将对应的线程休眠；如果所述通知队列不为空，则提出所述通知队列任务中的任务作为本次执行的任务，所述任务中包含本次需要操作的数据块。

可选的，每个所述线程具有唯一标识和加密KEY，所述加密KEY用于加密所述线程的唯一标识，所述加密后的唯一标识随着开机状态的变化而变化。

本发明还提供了一种高频数据存储装置，包括：

注册数据模块，用于注册待存储的数据类型；

创建模块，用于为每个已注册的数据类型创建对应的内存池、通知队列、线程及数据块读写句柄；

数据块写入模块，用于通过所述数据块读写句柄将所述内存池中的数据块写入对应的所述通知队列中；

监听模块，用于监听每个所述通知队列中是否有数据块写入；