[发明专利]数据存储方法、装置、设备及计算机可读存储介质

说明书

本发明实施例公开了一种数据存储方法、装置、设备及计算机可读存储介质。其中，方法包括创建用于读取底层存储的Protobuf序列化文件的hive表；将Protobuf序列化数据的描述文件生成对应的编程语言文件，并发送至待加载文件包中；根据预先构建的数据解析器对应的解析方式配置hive表中用于解析数据的字段；基于数据解析器，利用hive表自动化解析并读取Protobuf序列化数据；其中，数据解析器用于将hive表与配置文件进行表模式和配置结构的匹配，并生成hive表结构的Object对象集和hive结果对象集。本申请实现了以最少的开发量解决hive数据仓库底层Protobuf文件存储的解析难题，有利于提升hive数据仓库的数据存储安全性。

技术领域

本发明实施例涉及存储技术领域，特别是涉及一种数据存储方法、装置、设备及计算机可读存储介质。

背景技术

随着大数据、云计算的快速发展，当前信息化社会大量数据不断涌现，尤其是互联网行业、电信行业等公司的数据量以惊人地速度不断增长着，如此大的数据量对于存储就会有更高的要求。当前业界对于大数据的存储几乎都会采用数据压缩的方式以减小文件存储占用空间，但是减小文件存储空间的同时会需要更高计算频率，平衡计算和存储之间的关系，使资源之间能够达到产业所需求的平衡，是本领域技术人员需要关注的问题。

由于hive数据仓库具有很多优点，例如计算能力可扩展、数据可容错性能更高、数据安全性、集成HDFS所有优点、成本低廉和简单易用等，hive已广泛作为主要数据仓库应用于有离线数据仓库需求的应用场景中。

但是，由于hive数据仓库的HSQL表达能力有限、生成的mapreduce作业不够智能化和调优粒度较粗等。当前hive数据仓库支持存储数据格式为textfile、sequencefile、rcfile、orcfile、parquet，但是这几种数据存储格式都是数据不安全的存储类型，非法侵入者或非授权用户只要拿到该类型的部分数据即可查看所拿到的这部分数据所有数据，容易泄密，不利于用户安全存储数据。

发明内容

本公开实施例提供了一种数据存储方法、装置、设备及计算机可读存储介质，实现了以最少的开发量解决hive数据仓库底层Protobuf文件存储的解析难题，有利于提升hive数据仓库的数据存储安全性。

为解决上述技术问题，本发明实施例提供以下技术方案：

本发明实施例一方面提供了一种数据存储方法，包括：

创建hive表，所述hive表用于读取底层存储的Protobuf结构数据存储格式的数据；

将Protobuf序列化数据的描述文件生成对应的编程语言文件，并发送至待加载文件包中；

根据预先构建的数据解析器对应的解析方式配置所述hive表中用于解析数据的字段；

基于所述数据解析器，利用所述hive表自动化解析并读取所述Protobuf序列化数据；

其中，所述数据解析器用于将所述hive表与配置文件进行表模式和配置结构的匹配，并生成所述hive表结构的Object对象集和hive结果对象集。

可选的，应用于Java语言环境中，所述数据解析器的构建过程包括：

设置用于读取配置文件并关联所述hive表结构的模式匹配文件，以将所述hive表与配置文件进行表模式和配置结构的匹配；

设置用于基于子类代理实现Java对象到Object对象的转化逻辑的对象转化文件；

设置用于使用嵌套对象遍历所述Protobuf序列化数据生成Java对象的嵌套遍历文件。

可选的，所述基于所述数据解析器，利用所述hive表自动化解析并读取所述Protobuf序列化数据包括：