[发明专利]数据存储方法、装置、设备及计算机可读存储介质

权利要求书

1.一种数据存储方法，其特征在于，包括：

创建hive表，所述hive表用于读取底层存储的Protobuf结构数据存储格式的数据；

将Protobuf序列化数据的描述文件生成对应的编程语言文件，并发送至待加载文件包中；

根据预先构建的数据解析器对应的解析方式配置所述hive表中用于解析数据的字段；

基于所述数据解析器，利用所述hive表自动化解析并读取所述Protobuf序列化数据；

其中，所述数据解析器用于将所述hive表与配置文件进行表模式和配置结构的匹配，并生成所述hive表结构的Object对象集和hive结果对象集；应用于Java语言环境中，所述数据解析器的构建过程包括：

设置用于读取配置文件并关联所述hive表结构的模式匹配文件，以将所述hive表与配置文件进行表模式和配置结构的匹配；

设置用于基于子类代理实现Java对象到Object对象的转化逻辑的对象转化文件；

设置用于使用嵌套对象遍历所述Protobuf序列化数据生成Java对象的嵌套遍历文件。

2.根据权利要求1所述的数据存储方法，其特征在于，所述基于所述数据解析器，利用所述hive表自动化解析并读取所述Protobuf序列化数据包括：

通过重写hive数据仓库的初始化函数以实现组装所述模式匹配文件和所述对象转化文件生成所述hive表结构的Object对象集；

通过重写hive数据仓库的数据解析函数以实现组装所述嵌套遍历文件生成hive结果对象集；

生成可执行文件包，并在所述配置文件中设置Protobuf结构定义文件生成的java文件位置，以将所述可执行文件包加载到hive环境变量中使用所述hive表指定解析读取所述Protobuf序列化数据的入口；

执行hiveSQL查询语句读取所述Protobuf序列化数据。

3.根据权利要求1或2所述的数据存储方法，其特征在于，所述基于所述数据解析器，利用所述hive表自动化解析并读取所述Protobuf序列化数据包括：

判断是否在预设时间内接收到数据解析读取成功的信息；

若否，则进行数据读取错误的告警，并反馈自动化解析及读取所述Protobuf序列化数据过程的日志文件信息。

4.一种数据存储装置，其特征在于，包括：

Hive表创建模块，用于创建hive表，所述hive表用于读取底层存储的Protobuf结构数据存储格式的数据；

数据转化模块，用于将Protobuf序列化数据的描述文件生成对应的编程语言文件，并发送至待加载文件包中；

解析方式配置模块，用于根据预设构建的数据解析器对应的解析方式配置所述hive表中用于解析数据的字段；所述数据解析器用于将所述hive表与配置文件进行表模式和配置结构的匹配，并生成所述hive表结构的Object对象集和hive结果对象集；

数据自动化解析读取模块，用于基于所述数据解析器，利用所述hive表自动化解析并读取所述Protobuf序列化数据；

所述数据解析器包括模式匹配器、对象转化器和嵌套遍历装置；

所述模式匹配器用于将所述hive表与配置文件进行表模式和配置结构的匹配；

所述对象转化器用于基于子类代理实现Java对象到Object对象的转化逻辑；

所述嵌套遍历装置用于使用嵌套对象遍历所述Protobuf序列化数据生成Java对象。