[发明专利]一种hadoop数据存储方法和装置

权利要求书

1.一种hadoop数据存储方法，其特征在于，包括：

当接收到用户提交的数据存储请求时，名字节点NameNode从多个不同机架中随机选取预设数量的数据节点DataNode；

获取所述预设数量的DataNode中各个DataNode在网络拓扑中到当前DataNode的距离信息以及各个DataNode当前存放的数据副本数量；

根据所述距离信息以及所述数据副本数量计算所述每个DataNode的调度评价值；

根据计算出的所述调度评价值选取数据存放节点。

2.根据权利要求1所述的hadoop数据存储方法，其特征在于，所述当接收到用户提交的数据存储请求时，名字节点NameNode从多个不同机架中随机选取预设数量的数据节点DataNode包括：

根据所述数据存储请求，所述NameNode调用预设的副本放置策略BlockPlacementPolicy；其中，所述BlockPlacementPolicy的节点选取函数chooseTarget()中增加有网络拓扑NetworkTopology类成员变量clusterMap；

根据所述clusterMap的节点选择函数Node chooseRandom(String scope)从所述多个不同机架中获得随机的DataNode。

3.根据权利要求2所述的hadoop数据存储方法，其特征在于，所述获取所述预设数量的DataNode中各个DataNode在网络拓扑中到当前DataNode的距离信息包括：

根据所述clusterMap的目标距离函数intgetDistance(Node node1，Node node2)获得所述各个DataNode与所述当前DataNode之间的网络距离。

4.根据权利要求1所述的hadoop数据存储方法，其特征在于，所述获取各个DataNode当前存放的数据副本数量包括：

调用Hadoop系统中描述DataNode的数据节点描述策略DataNodeDescriptor；

根据所述DataNodeDescriptor中的块数据组函数intnumBlocks()获取所述各个DataNode上已经存放的数据块数量，作为所述数据副本数量。

5.根据权利要求1所述的hadoop数据存储方法，其特征在于，所述根据所述距离信息以及所述数据副本数量计算所述每个DataNode的调度评价值包括：将获取的关于每个DataNode的所述距离信息以及所述数据副本数量代入以下预设的节点评价函数计算所述每个DataNode的调度评价值E：

E＝f(ld,d)＝Al+(1-A)d；

其中，f(ld,d)为节点评价函数；l为该DataNode的负载系数，反比于该DataNode当前存放的数据副本数量；d为距离系数，反比于该DataNode到当前DataNode的网络距离；A∈[0，1]为平衡因子。

6.根据权利要求1所述的hadoop数据存储方法，其特征在于，所述根据计算出的所述调度评价值选取数据存放节点包括：

对计算出的调度评价值进行排序；

依据所述调度评价值从高到低选取数据存放节点。

7.一种hadoop数据存储装置，其特征在于，包括：选取模块、获取模块、计算模块和存储模块；

所述选取模块，用于当接收到用户提交的数据存储请求时，从多个不同机架中随机选取预设数量的数据节点DataNode；

所述获取模块，用于获取所述预设数量的DataNode中各个DataNode在网络拓扑中到当前DataNode的距离信息以及各个DataNode当前存放的数据副本数量；

所述计算模块，用于根据所述距离信息以及所述数据副本数量计算所述每个DataNode的调度评价值；

所述存储模块，用于根据计算出的所述调度评价值选取数据存放节点。