[发明专利]一种文件数据处理方法、装置、设备及介质

说明书

本发明公开了一种文件数据处理方法、装置、设备及介质，属于数据处理技术领域，所述方法包括：获取系统镜像文件；获取系统审计日志；获取系统Hive表文件元数据信息，将所述Hive表文件路径和所述系统镜像文件路径相匹配，以及将所述Hive表文件路径和所述系统审计日志路径相匹配，通过聚合关系分析分别获取所述Hive表文件目录的写数据时间信息和读数据时间信息；根据预设阈值确认待压缩或待合并的系统Hive表文件；根据所述Hive表文件目录的写数据时间信息和读数据时间信息，通过通用资源管理器对所述待压缩的Hive表文件进行压缩或对待合并的Hive表文件进行合并。本发明可以降低平台存储容量、减少平台文件数量，达到节约平台存储资源和提升平台稳定性的目的。

技术领域

本发明涉及数据处理技术领域，特别涉及一种文件数据处理方法、装置、设备及介质。

背景技术

目前主流是基于分布式系统基础架构(Hadoop)的生态构建的大数据平台，在文件存储和文件数量上都会存在最终需要治理的局面，否则会出现存储利用率不高，平台的文件数量持续增加的现象；在不进行集群拆分和增加集群管理文件系统的命名空间(NameNode)内存的情况下，平台的稳定性将得不到有效保障。但是拆分集群和增加资源，成本会成倍数增加。所以在治理手段上，目前没有综合高效的自动化平台实现方式，或没有治理能力，或基于各个平台提供的治理规则，由用户自身进行对应的数据压缩、小文件合并操作，即没有统一的识别和治理工具装置，导致治理范围小以及治理效率低，同时只能依赖于平台开发人员对基础平台知识的掌握和应用能力。

发明内容

为了克服上述技术缺陷，本发明的目的在于提供一种文件数据处理方法、装置、设备及介质，本发明所述方法包括：获取系统镜像文件；获取系统审计日志；获取系统Hive表文件元数据信息，将所述Hive表文件路径和所述系统镜像文件路径相匹配，以及将所述Hive表文件路径和所述系统审计日志路径相匹配，通过聚合关系分析分别获取所述Hive表文件目录的写数据时间信息和读数据时间信息；根据预设阈值确认待压缩或待合并的系统Hive表文件；根据所述Hive表文件目录的写数据时间信息和读数据时间信息，通过通用资源管理器对所述待压缩的Hive表文件进行压缩或对待合并的Hive表文件进行合并。本发明可以降低平台存储容量、减少平台文件数量，达到节约平台存储资源和提升平台稳定性的目的。

本发明实施例提供的具体技术方案如下：

第一方面，提供了一种文件数据处理方法，所述方法应用于分布式文件系统，所述方法包括：

获取系统镜像文件，所述镜像文件包括元数据；

获取系统审计日志；

获取系统Hive表文件元数据信息，将所述Hive表文件路径和所述系统镜像文件路径相匹配，以及将所述Hive表文件路径和所述系统审计日志路径相匹配，通过聚合关系分析分别获取所述Hive表文件目录的写数据时间信息和读数据时间信息；

根据预设阈值确认待压缩或待合并的系统Hive表文件；

根据所述Hive表文件目录的写数据时间信息和读数据时间信息，通过通用资源管理器对所述待压缩的Hive表文件进行压缩或对待合并的Hive表文件进行合并。

进一步地，所述根据所述Hive表文件目录的写数据时间信息和读数据时间信息，通过通用资源管理器对所述待压缩的Hive表文件进行压缩或对待合并的Hive表文件进行合并，包括：

获取所述待压缩的Hive表文件的地址路径；

通过大数据计算引擎的textFile函数读取所述待压缩的Hive表文件，以及通过saveAsTextFile函数将所述待压缩的Hive表文件压缩为第一格式文本；

将压缩之后的Hive表目录文件发送至所述待压缩的Hive表文件的地址路径；

删除压缩之后的Hive表目录文件。