[发明专利]文件处理方法和系统

说明书

本公开提供了一种文件处理方法和系统，涉及IT领域。该方法包括：接收客户端发送的新增文件请求；根据新增文件大小选择对应的数据块组以及数据块组中可用于存储的数据块；判断可用于存储的数据块中是否有非空的数据块；若有，则将新增文件存储在非空数据块的空闲存储单元中；若没有，则根据新增文件大小，将多个新增文件合并为大文件，并将大文件存储在空的数据块中。本公开能够优化数据布局，提高磁盘空间利用率。

技术领域

本公开涉及IT领域，尤其涉及一种文件处理方法和系统。

背景技术

当今互联网，数据呈现爆炸式增长，社交网络、移动通信、网络视频、电子商务等各种应用往往能产生亿级甚至十亿、百亿级的海量小文件。由于在元数据管理、访问性能、存储效率等方面面临巨大的挑战，海量小文件问题成为了业界公认的难题。

发明内容

本公开要解决的一个技术问题是提供一种文件处理方法和系统，能够优化数据布局，提高磁盘空间利用率。

根据本公开一方面，提出一种文件处理方法，包括：接收客户端发送的新增文件请求；根据新增文件大小选择对应的数据块组以及数据块组中可用于存储的数据块；判断可用于存储的数据块中是否有非空的数据块；若有，则将新增文件存储在非空数据块的空闲存储单元中；若没有，则根据新增文件大小，将多个新增文件合并为大文件，并将大文件存储在空的数据块中。

可选地，该方法还包括：接收客户端发送的文件删除请求；查找待删除文件的元数据；根据元数据确定待删除文件所在的数据块组中的数据块；根据待删除文件的索引文件在数据块中找到待删除文件所在的存储单元；删除待删除文件。

可选地，该方法还包括：将待删除文件所在的存储单元状态修改为空闲状态。

可选地，该方法还包括：接收客户端发送的文件修改请求；判断修改后的文件与待修改文件大小是否变化；若未变化，则将待修改文件替换为修改后的文件；若变化，则将修改后的文件作为新增文件进行存储，将待修改文件作为待删除文件进行删除。

可选地，将待修改文件替换为修改后的文件包括：查找待修改文件的元数据；根据元数据确定待修改文件所在的数据块组中的数据块；根据待修改文件的索引文件在数据块中找到待修改文件；将待修改文件替换为修改后的文件。

根据本公开的另一方面，还提出一种文件处理系统，包括：请求接收单元，用于接收客户端发送的新增文件请求；数据块选择单元，用于根据新增文件大小选择对应的数据块组以及数据块组中可用于存储的数据块；非空数据块判断单元，用于判断可用于存储的数据块中是否有非空的数据块；数据存储单元，用于若可用于存储的数据块中有非空的数据块，则将新增文件存储在非空数据块的空闲存储单元中，否则，根据新增文件大小，将多个新增文件合并为大文件，并将大文件存储在空的数据块中。

可选地，请求接收单元还用于接收客户端发送的文件删除请求，系统还包括：元数据查找单元，用于查找待删除文件的元数据；数据块查询单元，用于根据元数据确定待删除文件所在的数据块组中的数据块；存储单元查询单元，用于根据待删除文件的索引文件在数据块中找到待删除文件所在的存储单元；数据删除单元，用于删除待删除文件。

可选地，该系统还包括：状态修改单元，用于将待删除文件所在的存储单元状态修改为空闲状态。

可选地，请求接收单元还用于接收客户端发送的文件修改请求，系统还包括：文件大小判断单元，用于判断修改后的文件与待修改文件大小是否变化；数据修改单元，用于若修改后的文件大小未变化，则将待修改文件替换为修改后的文件，否则，将修改后的文件作为新增文件，并向请求接收单元发送存储请求，响应于数据存储单元存储完成修改后的文件，向请求接收单元发送删除待修改文件的请求。

可选地，数据修改单元用于查找待修改文件的元数据；根据元数据确定待修改文件所在的数据块组中的数据块；根据待修改文件的索引文件在数据块中找到待修改文件；将待修改文件替换为修改后的文件。