[发明专利]一种文件数据处理方法、装置、设备及介质

权利要求书

1.一种文件数据处理方法，其特征在于，所述方法应用于分布式文件系统，所述方法包括：

获取系统镜像文件，所述镜像文件包括元数据；

获取系统审计日志；

获取系统Hive表文件元数据信息，将所述Hive表文件路径和所述系统镜像文件路径相匹配，以及将所述Hive表文件路径和所述系统审计日志路径相匹配，通过聚合关系分析分别获取所述Hive表文件目录的写数据时间信息和读数据时间信息；

根据预设阈值确认待压缩或待合并的系统Hive表文件；

根据所述Hive表文件目录的写数据时间信息和读数据时间信息，通过通用资源管理器对所述待压缩的Hive表文件进行压缩或对待合并的Hive表文件进行合并。

2.根据权利要求1所述的文件数据处理方法，其特征在于，所述根据所述Hive表文件目录的写数据时间信息和读数据时间信息，通过通用资源管理器对所述待压缩的Hive表文件进行压缩或对待合并的Hive表文件进行合并，包括：

获取所述待压缩的Hive表文件的地址路径；

通过大数据计算引擎的textFile函数读取所述待压缩的Hive表文件，以及通过saveAsTextFile函数将所述待压缩的Hive表文件压缩为第一格式文本；

将压缩之后的Hive表目录文件发送至所述待压缩的Hive表文件的地址路径；

删除压缩之后的Hive表目录文件。

3.根据权利要求2所述的文件数据处理方法，其特征在于，所述通过大数据计算引擎的textFile函数读取所述待压缩的Hive表文件之前，还包括：

判断所述待压缩的Hive表文件的格式是否为第二格式文本；

若是，则结束压缩流程；若否，则继续对所述待压缩的Hive表文件进行压缩；

将所述Hive表文件目录的写数据时间信息设置为第一写数据时间信息；

重新通过聚合关系分析获取所述Hive表文件目录的第二写数据时间信息；

判断所述第一写数据时间信息与所述第二写数据时间信息是否一致；

若是，则继续对所述待压缩的Hive表文件进行压缩；若否，则结束压缩流程。

4.根据权利要求1所述的文件数据处理方法，其特征在于，所述根据所述Hive表文件目录的写数据时间信息和读数据时间信息，通过通用资源管理器对所述待压缩的Hive表文件进行压缩或对待合并的Hive表文件进行合并，还包括：

获取所述待合并的Hive表文件的地址路径；

设置合并备份表；

通过大数据计算引擎任务模块将所述待合并的Hive表文件写入所述合并备份表，压缩所述待合并的Hive表分区文件的数量，对所述待合并的Hive表文件进行合并；

获取所述合并备份表的地址路径；

将合并之后的合并备份表地址路径的目录文件发送至所述待合并的Hive表文件的地址路径；

删除合并备份表和所述合并备份表地址路径的目录文件。

5.根据权利要求4所述的文件数据处理方法，其特征在于，所述通过大数据计算引擎任务模块将所述待合并的Hive表文件写入所述合并备份表，压缩所述待合并的Hive表分区文件的数量，对所述待合并的Hive表文件进行合并，包括：

获取合并之前所述待合并的Hive表分区文件的数量以及合并之后所述Hive表分区文件的数量；

判断所述合并之前所述待合并的Hive表分区文件的数量与所述合并之后所述Hive表分区文件的数量是否一致；

若是，则对所述待合并的Hive表文件合并成功；若否，则对所述待合并的Hive表文件合并失败。

6.根据权利要求1所述的文件数据处理方法，其特征在于，所述根据所述Hive表文件目录的写数据时间信息和读数据时间信息，通过通用资源管理器对所述待压缩的Hive表文件进行压缩或对待合并的Hive表文件进行合并之前，还包括：

对所述待压缩或待合并的系统Hive表文件在所述分布式文件系统文件目录下进行备份。