[发明专利]一种小文件存储方法、装置及计算机设备

说明书

本发明公开了一种小文件存储方法、装置及计算机设备，其中，该方法包括如下步骤：对待刻录的多个小文件进行分组，得到多个文件段，每一个文件段包括至少2个小文件；分别对每一个文件段中的小文件进行合并，得到多个合并文件；加载预设刻录脚本将所述多个合并文件刻录到刻录设备中。本发明实施例通过将至少2个小文件合并为一个合并文件进行刻录，减少了索引节点元数据，减少了存储操作，提高了文件存储速度，也提高了文件系统处理效率以及运行速度。

技术领域

本发明涉及数据存储技术领域，具体涉及一种小文件存储方法、装置及计算机设备。

背景技术

当今互联网，数据呈爆炸式增长，社交网络、移动通信、网络视频、电子商务等各种应用往往能产生亿级甚至十亿、百亿级的小文件(文件大小不大于1MB的文件)，我们通常将百万级数量及以上成为海量，由此可量化定义海量小文件。

传统的文件系统下，每个文件都需要创建对应的索引节点元数据，根据该索引节点元数据进行存储和查询。但是在海量小文件的场景下，传统的文件系统已经无法承载如此多的元数据存储操作了，导致一些小文件存储操作需要等待较长时间，操作系统运行速度慢，故亟待提出一种小文件存储方法来实现海量小文件的存储，以提高操作系统的运行速度。

发明内容

因此，本发明要解决的技术问题在于克服现有技术中传统的文件系统已经无法承载海量小文件的元数据存储操作，导致一些小文件存储操作需要等待较长时间，操作系统运行速度慢的缺陷，从而提供一种小文件存储方法、装置及计算机设备。

根据第一方面，本发明公开了一种小文件存储方法，包括如下步骤：对待刻录的多个小文件进行分组，得到多个文件段，每一个文件段包括至少2个小文件；分别对每一个文件段中的小文件进行合并，得到多个合并文件；加载预设刻录脚本将所述多个合并文件刻录到刻录设备中。

可选地，在所述对待刻录的多个小文件进行分组之前，所述方法还包括：获取用于存储小文件的文件系统的当前可存储容量；当所述用于存储小文件的文件系统的当前可存储容量大于预设阈值时，将所述小文件写入所述用于存储小文件的文件系统，得到待刻录的多个小文件。

可选地，所述方法还包括：获取待刻录的多个小文件的文件属性信息；将所述待刻录的多个小文件的文件属性信息存储到预设数据库。

可选地，所述文件属性信息包括：文件最新修改时间；对待刻录的多个小文件进行分组，得到多个文件段，包括：对所述待刻录的多个小文件按照文件最新修改时间进行排序；对排序后的所述待刻录的多个小文件进行分组，得到多个文件段。

可选地，在所述分别对每一个文件段中的小文件进行合并，得到多个合并文件之前，所述方法还包括：对每一个文件段中的小文件按照所述属性信息中的文件最新修改时间进行排序；分别对排序后的每一个文件段进行合并，得到多个合并文件。

可选地，所述分别对每一个文件段中的小文件进行合并，得到多个合并文件，包括：获取每一个文件段的小文件的文件属性信息，将所述文件属性信息填写到预设文件句柄中，得到所述多个合并文件。

可选地，所述文件属性信息包括小文件的长度信息，所述方法还包括：根据上一个合并文件的位置以及当前合并文件中各个小文件的长度信息得到当前合并文件中各个小文件的初始位置；将所述当前合并文件中各个小文件的初始位置、所述小文件的文件属性信息以及所述小文件的合并文件名称关联存储在所述预设数据库中。

可选地，所述方法还包括：当接收到小文件读取请求时，根据所述小文件读取请求从所述预设数据库获取所述小文件的属性信息、所述初始位置以及所述小文件的合并文件，所述小文件读取请求包括：所述小文件存储的文件系统以及所述小文件的合并文件的名称；根据所述小文件属性信息中的长度信息以及所述初始位置从所述小文件所在合并文件中读取所述小文件的数据内容。