[发明专利]一种数据存储方法及装置

说明书

本发明提供一种数据存储方法及装置，该方法包括：在客户端向主节点提交数据存储请求后，选取至少一个分布于不同机架上的从节点；获取从节点在网络拓扑结构中到主节点的网络距离，以及从节点当前存储的数据副本量；根据网络距离和数据副本量，计算从节点的调度评价值；根据调度评价值，选取从节点用于存储数据。本发明既能缓解海量小文件对数据节点带来的内存空间的压力，又能实现数据存放的负载均衡，还能实现良好的数据传输性。

技术领域

本发明涉及数据存储技术领域，具体涉及一种数据存储方法及装置。

背景技术

随着互联网的高速发展，当今社会所产生的数据量在急速增长。在互联网中的信息数据大多是以高频率的小文件形式表现出来的，且在一般用户的信息存储访问中对小文件的存储访问的操作相对较多。

在云存储系统中，海量的数据存储、高性能、高扩展性是其主要特点，但是当小文件的数量达到一定程度之后，存储海量小文件会对数据节点带来巨大的内存空间的压力，对海量小文件的频繁且重复的访问也会给数据节点带来性能及负载均衡方面的影响。在云存储系统中，小文件的存放位置至关重要，当云存储系统中存在海量小文件时，客户端对小文件的访问与小文件的存储位置关系密切。

发明内容

本发明提供一种数据存储方法及装置，以解决现有技术中海量小文件在存储时会带来较大的内存空间压力，以及在访问时会带来性能及负载均衡方面影响的问题。

第一方面，本发明实施例提供一种数据存储方法，包括：

在客户端向主节点提交数据存储请求后，选取至少一个分布于不同机架上的从节点；

获取所述从节点在网络拓扑结构中到所述主节点的网络距离，以及所述从节点当前存储的数据副本量；

根据所述网络距离和所述数据副本量，计算所述从节点的调度评价值；

根据所述调度评价值，选取所述从节点用于存储数据。

作为本发明第一方面的优选方式，计算所述从节点的调度评价值的计算式如下：

f(dL，d)＝AL+(1-A)×d，

其中，d为距离系数，反比于所述从节点到所述主节点的网络距离；L为节点负载系数，反比于所述从节点当前存储的数据副本量；A为平衡因子，指示距离系数d和节点负载系数L在评价中的比重，其中A∈[0,1]。

作为本发明第一方面的优选方式，所述根据所述调度评价值，依次选取所述从节点用于存储数据包括：

按照所述调度评价值从高到低的顺序，对所述从节点进行排序，形成从节点队列；

从所述从节点队列中，选取排在首位的所述从节点用于存储数据。

第二方面，本发明实施例提供一种数据存储装置，包括：

选取单元，用于在客户端向主节点提交数据存储请求后，选取至少一个分布于不同机架上的从节点；

获取单元，用于获取所述从节点在网络拓扑结构中到所述主节点的网络距离，以及所述从节点当前存储的数据副本量；

计算单元，用于根据所述网络距离和所述数据副本量，计算所述从节点的调度评价值；

存储单元，用于根据所述调度评价值，选取所述从节点用于存储数据。

作为本发明第二方面的优选方式，所述计算单元中用于计算所述从节点的调度评价值的计算式如下：

f(dL，d)＝AL+(1-A)×d，