[发明专利]数据存储系统、方法、装置、设备以及存储介质

说明书

本申请实施例公开了数据存储系统、方法、装置、设备以及存储介质，涉及数据存储、搜索等技术领域。该数据存储系统的一具体实施方式包括：用户终端，配置于：在文件写入时，将文件顺序地写入分布式文件系统，以及将文件的元信息注册到元信息服务器；在文件读取时，从元信息服务器中获取待读取文件的元信息，以及根据获取到的待读取文件的元信息从分布式文件系统读取待读取文件；元信息服务器，配置于存储文件的元信息，其中，文件的元信息包含文件的键值范围；分布式文件系统，配置于存储用户终端写入的文件。本申请实施例采用了去分区的设计，用户终端直接和分布式文件系统交互，数据的读写依赖组件少，架构简单，运维成本和资源成本低。

技术领域

本申请涉及计算机技术领域，具体涉及数据存储、搜索等技术领域，尤其涉及数据存储方法、装置、设备以及存储介质。

背景技术

自媒体、小视频等新媒体形式丰富了网络上信息的形式和载体，这些海量结构化数据通过站长向搜索引擎提供，引擎抓取处理后需要进行存储后再构建索引。数据的增长带来的就是存储上机器成本、运维成本的疯狂增长。

海量结构化数据存储目前采用列型非关系型数据库Hbase存储。使用列型非关系型数据库Hbase作为存储，依赖master，regionserver，zk等多个模块，运维成本高。另外，列型非关系型数据库Hbase，在持续数据到达的场景下，压缩粒度粗糙，数据放大明显且难以控制，最终导致读写性能不足，无法满足海量搜索数据存储的需求。

发明内容

为了解决上述背景技术部分提到的一个或多个技术问题，本申请实施例提供了数据存储系统、方法、装置、设备以及存储介质。

第一方面，本申请实施例提供了数据存储系统，包括：用户终端，配置于：在文件写入时，将文件顺序地写入分布式文件系统，以及将文件的元信息注册到元信息服务器；在文件读取时，从元信息服务器中获取待读取文件的元信息，以及根据获取到的待读取文件的元信息从所述分布式文件系统读取所述待读取文件；元信息服务器，配置于存储文件的元信息，其中，所述文件的元信息包含文件的键值范围；分布式文件系统，配置于存储用户终端写入的文件。

第二方面，本申请实施例提供了数据存储方法，包括：在文件写入时，将文件顺序地写入分布式文件系统，以及将文件的元信息注册到元信息服务器；在文件读取时，从元信息服务器中获取待读取文件的元信息，以及根据获取到的待读取文件的元信息从所述分布式文件系统读取所述待读取文件。

第三方面，本申请实施例提供了数据存储装置，包括：写入模块，被配置为在文件写入时，将文件顺序地写入分布式文件系统，以及将文件的元信息注册到元信息服务器；读取模块，被配置为从元信息服务器中获取待读取文件的元信息，以及根据获取到的待读取文件的元信息从所述分布式文件系统读取所述待读取文件。

第四方面，本申请实施例提出了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行如第二方面描述的方法。

第五方面，本申请实施例提出了一种存储有计算机指令的非瞬时计算机可读存储介质，计算机指令用于使计算机执行如第二方面描述的方法。

本申请实施例提供的数据存储系统、方法、装置、设备以及存储介质，在文件写入时，用户重点将文件顺序地写入分布式文件系统，以及将文件的元信息注册到元信息服务器；在文件读取时，用户终端从元信息服务器中获取待读取文件的元信息，以及根据获取到的待读取文件的元信息从所述分布式文件系统读取所述待读取文件，与列型非关系型数据库Hbase相比，采用了去分区(region)的设计，数据的读写不需要部署regionserver，用户终端直接和分布式文件系统交互，数据的读写依赖组件少，架构简单，运维成本和资源成本相比Hbase都要低。