[发明专利]在建大坝混凝土实时测温海量数据的存储方法及装置

说明书

技术领域

本发明涉及计算机信息化技术领域，特别涉及一种在建大坝混凝土实时测温海量数据的存储方法及装置。

背景技术

相比较海量密集采集的数据而言，一个大型施工现场往往存在上万个以上的数据采集点，采集的频率从几秒到几分钟不等，而施工期又往往在10年以上，往往导致海量数据的累积，并且大型水利施工现场往往处于高山峡谷，导致上述单一存储点的风险大，而且核心数据的安全性尤为重要，因为这些数据随着施工期不能再次采集，并且后续施工也要以这些数据为基础，需要进行数据的异地灾难备份。

相关技术中，在大型水利施工现场中使用传感器网络采集的数据例如温度、湿度、压力和人员位置等存储在现场的数据采集终端中，有的用文件存储，有的用小型数据库系统存储，一些开发的上层应用直接调用文件IO函数或者数据库SQL(Structured Query Language，结构化查询语言)语言对这些采集上来的数据进行存储和检索。然而，相关技术中并没有一个分布存储的完整方案，无法充分利用现有低成本、大容量的存储设备，且不能很好地实现一定冗余，精细度不高，存在数据的安全存储和检索的隐患问题。

发明内容

本发明旨在至少在一定程度上解决上述相关技术中的技术问题之一。

为此，本发明的一个目的在于提出一种存储高效、精细度高的在建大坝混凝土实时测温海量数据的存储方法。

本发明的另一个目的在于提出一种在建大坝混凝土实时测温海量数据的存储装置。

为达到上述目的，本发明一方面实施例提出了一种在建大坝混凝土实时测温海量数据的存储方法，包括以下步骤：将数据打包为固定大小的多个数据块，并且根据所述多个数据块中每个数据块生成对应的数据块身份识别号ID(Identity，身份识别号)；检索所述每个数据块对应的存储调度节点掌握的资源池，以调度最低代价的存储目的地；以及根据所述最低代价的存储目的地发送存储请求以将所述每个数据块中数据存储至相应的存储位置，并更新存储位置映射表。

根据本发明实施例提出的在建大坝混凝土实时测温海量数据的存储方法，通过将数据打包为固定大小的数据块，并且检索数据块对应的存储调度节点掌握的资源池，从而调度最低代价的存储目的地，实现根据最低代价的存储目的地发送存储请求以将数据进行存储的目的，充分利用现有低成本、大容量的存储设备，精细度和安全性高，提高存储效率，满足用户的使用要求。

另外，根据本发明上述实施例的在建大坝混凝土实时测温海量数据的存储方法还可以具有如下附加的技术特征：

在本发明的一个实施例中，所述将数据打包为固定大小的多个数据块，并且根据所述多个数据块中每个数据块生成对应的数据块ID，进一步包括：将所述每个数据块的属性、数据采集点ID、数据采集块时间段、大小、内容归一化为唯一标记，以生成所述对应的数据块ID。

进一步地，在本发明的一个实施例中，上述方法还包括：将所述每个数据块中数据在预设周期备份至第一预设存储位置。

进一步地，在本发明的一个实施例中，上述方法还包括：获取数据块ID；根据所述数据块ID与所述检索映射表获取所述数据块的存储位置；检索所述数据块对应的存储调度节点掌握的资源池，以调度最低代价的存储目的地；以及根据所述最低代价的存储目的地发送检索请求以根据所述存储位置调用所述数据块中数据。

进一步地，在本发明的一个实施例中，上述方法还包括：将调用次数超过预设次数的数据块存储至第二预设存储位置。

本发明另一方面实施例提出了一种在建大坝混凝土实时测温海量数据的存储装置，包括：生成模块，用于将数据打包为固定大小的多个数据块，并且根据所述多个数据块中每个数据块生成对应的数据块ID；第一检索模块，用于检索所述每个数据块对应的存储调度节点掌握的资源池，以调度最低代价的存储目的地；以及存储请求模块，用于根据所述最低代价的存储目的地发送存储请求以将所述每个数据块中数据存储至相应的存储位置，并更新存储位置映射表。

根据本发明实施例提出的在建大坝混凝土实时测温海量数据的存储装置，通过将数据打包为固定大小的数据块，并且检索数据块对应的存储调度节点掌握的资源池，从而调度最低代价的存储目的地，实现根据最低代价的存储目的地发送存储请求以将数据进行存储的目的，充分利用现有低成本、大容量的存储设备，精细度和安全性高，提高存储效率，满足用户的使用要求。

另外，根据本发明上述实施例的在建大坝混凝土实时测温海量数据的存储装置还可以具有如下附加的技术特征：