[发明专利]一种分布式文件存储方法、装置、电子设备及存储介质

说明书

本发明涉及信息技术及大数据业务领域，提供一种分布式文件存储方法、装置、电子设备及存储介质，方法包括：定时检测生产者运行状态，将应用下发的应用文件发送到代理者；定时检测代理者运行状态，将应用文件存储到数据文件中，并将存储位置保存到索引文件以及将应用文件的应用文件参数记录到数据库中，应用文件参数包括应用文件编号；定时检测消费者运行状态，接收应用发送的下载文件请求，下载文件请求包括下载文件编号；将应用文件编号与下载文件编号比较，当下载文件编号存在应用文件编号，则索引下载文件编号存储位置，并调取目标应用文件数据返回应用。本发明可实现自动检测、自动记录功能，且适用于小文件存储。

技术领域

本发明涉及信息技术及大数据业务技术领域，尤其涉及一种分布式文件存储方法、装置、电子设备及存储介质。

背景技术

在海量信息爆炸式增长的大数据时代，特别是到了人工智能时代，文件存储容量需求成指数级增长。已有的开源分布式文件系统，要么使用场景有限制，要么使用困难，要么对磁盘要求高，要么磁盘利用率不高。kafka是一种高吞吐量的分布式发布订阅消息系统，但单一kafka无法提供完整的分布式存储系统所需要的功能。

当生产者往分区中存储数据时，内存中存不下了，就会往段文件里面存储。当这个段文件到空间不足之后，再生成第二个段文件以此类推。每个段文件对应两个文件，分别是数据文件和索引文件。在索引文件中，存储的是“键值”格式的数据，但是在索引文件中不是对每条消息都做记录，它是每隔一些消息记录一次，避免占用太多内存。因为段文件的这种特性，kafka适合于消息的发布与订阅场景，还无法满足分布式文件存储的场景，特别是小文件的分布式存储需求。

发明内容

本发明实施例提供一种分布式文件存储方法，能够满足小文件的分布式存储需求，并提供了自动检测、数据记录功能。

第一方面，本发明实施例提供一种分布式文件存储方法，运用于分布式文件存储系统，所述系统包括生产者、代理者以及消费者，方法包括以下步骤：

定时检测所述生产者运行状态，当判断所述生产者正常启动且生产者配置信息无变更时，将应用下发的应用文件发送到所述代理者；

定时检测所述代理者运行状态，当判断所述代理者正常启动且代理者配置信息无变更时，将所述应用文件存储到数据文件中，并将存储位置保存到索引文件以及将所述应用文件的应用文件参数记录到数据库中，所述应用文件参数包括应用文件编号；

定时检测所述消费者运行状态，当判断所述消费者正常启动且消费者配置信息无变更时，接收应用发送的下载文件请求，所述下载文件请求包括下载文件编号；

根据索引所述下载文件编号与所述数据库中的所述应用文件编号比较，当所述下载文件编号存在所述应用文件编号中，则通过所述索引文件索引所述下载文件编号存储位置，并从所述数据文件调取对应所述下载文件编号的目标应用文件数据返回应用。

更进一步地，所述定时检测所述生产者运行状态的步骤包括：

定时从所述数据库中获取所述生产者配置信息，判断所述生产者是否正常启动；

若所述生产者正常启动，则记录生产者启动信息到所述数据库，并判断所述生产者配置信息是否发生变更；

若所述生产者配置信息无变更，则接收应用下发的所述应用文件并发送到所述代理者；

若所述生产者配置信息变更，则重启所述生产者，并记录生产者重启信息到所述数据库；

若检测到所述生产者异常，则重启所述生产者，并记录生产者异常信息到所述数据库。

第二方面，本发明实施例还提供一种分布式文件存储装置，运用于分布式文件存储系统，所述系统包括生产者、代理者以及消费者，装置包括：