[发明专利]一种信息处理方法、系统及电子设备

说明书

技术领域

本发明涉及信息处理技术，具体涉及一种信息处理方法、系统及电子设备。背景技术

现有的HADOOP分布式文件系统（HDFS，Hadoop Distributed File System）由一个名字节点（NameNode）设备和若干个数据节点（DateNode）设备组成。其中，所有的文件被分割成一个或多个子文件，而子文件被存储在DateNode设备中的存储区域的空间块中，其中，一个空间块通常存储有一个子文件；所有文件的存储信息（包括文件名、子文件信息、存储子文件的空间块信息等）存储在NameNode设备中。

当客户端需要读取文件时，首先请求NameNode设备，获取所述文件的存储信息，包括存储子文件的空间块信息等；客户端再与空间块所在的DateNode设备建立连接，从所述空间块中获取子文件，从而完成文件的读取。

当客户端需要上传文件时，首先请求NameNode设备分配可用的空间块；客户端再与所分配的空间块所在的DateNode设备建立连接，向指定的空间块上传子文件，从而完成子文件的上传。

由此可见，每个空间块只能存储一个子文件，对于具有大量小文件的云存储业务来说，大量的小文件会导致空间块的数量过大，使DateNode设备上报和扫描的时间过长，并给NameNode设备带来很大的内存压力。如何解决空间块数量过大的问题，以减少DateNode设备上报和扫描的时间，减轻NameNode设备的压力，成为亟待解决的问题。

发明内容

为解决现有存在的技术问题，本发明实施例提供一种信息处理方法、系统及电子设备，能够解决空间块数量过大的问题，减少DateNode设备上报和扫描的时间，减轻NameNode设备的压力。

为达到上述目的，本发明实施例的技术方案是这样实现的：

本发明实施例提供了一种信息处理方法，应用于电子设备中，所述电子设备能够分别与文件分布系统中的名字节点设备、数据节点设备进行通信；所述方法包括：

接收名字节点设备发送的合并指令，所述合并指令为所述名字节点设备确定客户端已向所述数据节点设备上传第一文件后发送的；

根据所述合并指令分析所述数据节点设备的空间存储信息，确定所述数据节点设备中符合合并策略的空间块；其中，所述合并策略为所述名字节点设备预先发送的；所述符合合并策略的空间块为已经存储有第二文件的，且所述空间块的剩余存储空间容量大于所述第一文件容量的空间块；

将所述第一文件合并到所述空间块中。

上述方案中，所述将所述第一文件合并到所述空间块中，包括：

将所述第一文件添加到所述空间块的尾部。

上述方案中，所述方法还包括：分析所述数据节点设备中所有空间块的剩余存储空间的信息，确定所述剩余存储空间满足预设的空间重算条件后，重新计算所述空间块中的剩余存储空间。

上述方案中，所述空间重算条件包括：

所述空间块的剩余存储空间的容量值小于第一阈值，并且所述空间块中所有文件的数目大于第二阈值倍数的可用文件数目；或者，

所述空间块的剩余存储空间的容量值小于第一阈值，并且所述空间块中可用文件容量值的总和小于第三阈值。

上述方案中，所述分析所述数据节点设备的空间存储信息，确定所述数据节点设备中符合合并策略的空间块，包括：

分析所述数据节点设备的空间存储信息，获取与所述第一文件的容量相匹配的至少一个空间块的信息；

确定所述至少一个空间块的剩余存储空间的容量与所述第一文件的容量的差值，选取所述差值最小空间块作为符合合并策略的空间块。

上述方案中，所述将所述第一文件合并到所述空间块中之后，所述方法还包括：

将所述第一文件的存储信息通知所述名字节点设备。

本发明实施例还提供了一种电子设备，所述电子设备能够分别与文件分布系统中的名字节点设备、数据节点设备进行通信；所述电子设备包括：通信单元、分析单元和合并单元；其中，

所述通信单元，用于接收名字节点设备发送的合并指令，所述合并指令为所述名字节点设备确定客户端已向所述数据节点设备上传第一文件后发送的；

所述分析单元，用于根据所述通信单元接收的合并指令分析所述数据节点设备的空间存储信息，确定所述数据节点设备中符合合并策略的空间块；其中，所述合并策略为所述名字节点设备预先发送的；所述符合合并策略的空间块为已经存储有第二文件的，且所述空间块的剩余存储空间容量大于所述第一文件容量的空间块；