[发明专利]一种HDFS中热点数据文件的动态副本创建方法和系统

权利要求书

1.一种HDFS中热点数据文件的动态副本创建方法，其特征在于，所述方法包括：

识别热点数据文件；

对所述文件动态创建副本，包括：优先在对所述热点数据文件发生请求的本地节点创建所述热点数据文件的副本。

2.如权利要求1所述的方法，其特征在于，所述识别热点数据文件，包括：

按时间顺序依次记录被访问的数据文件并为每个被访问的数据文件分配权值；分配权值时，先访问的数据文件被分配的权值小，后访问的数据文件被分配的权值大；

达到预设时间时，统计记录的每个被访问的数据文件被分配的权值之和，权值之和最大的文件为热点数据所在的文件。

3.如权利要求2所述的方法，其特征在于，所述方法还包括：

在预设时间到达前，若按时间顺序依次记录的被访问的数据文件占用的空间达到或超过阈值，则删除最早记录的被访问的数据文件直至已记录的被访问的数据文件占用的空间满足要求。

4.如权利要求3所述的方法，其特征在于，所述方法包括：

将被访问的数据文件存储进队列，依次对进入队列中的数据文件分配从小到大的权值；

在预设时间到达前，若队列满，则按照先入先出(FIFO)原则，将数据文件从队列头开始移出，将新被访问的数据文件继续存储进该队列；并且将更新后的队列中的数据文件的权值顺序设置为与更新前的队列中的数据文件的权值顺序相同。

5.如权利要求4所述的方法，其特征在于，所述依次对进入队列中的数据文件分配从小到大的权值，包括：

将位于对头的数据文件分配权值1，队列中对头数据文件的后续数据文件被分配的权值比各自前一个数据文件被分配的权值多1。

6.如权利要求1～5中任一项所述的方法，其特征在于，对所述文件动态创建副本，还包括：

当所述本地节点创建的热点数据文件的副本数达到预设的节点可存储副本阈值时，则依次在本地节点所在机架的其他节点、其他机架的节点上创建所述热点数据文件的副本。

7.一种HDFS中热点数据文件的动态副本创建系统，其特征在于，所述系统包括文件识别模块、副本创建模块，其中，

所述文件识别模块，用于识别热点数据文件；

所述副本创建模块，用于对所述文件动态创建副本，包括：优先在对所述热点数据文件发生请求的本地节点创建所述热点数据文件的副本。

8.如权利要求7所述的系统，其特征在于，所述文件识别模块，用于识别热点数据文件，包括：

按时间顺序依次记录被访问的数据文件并为每个被访问的数据文件分配权值；分配权值时，先访问的数据文件被分配的权值小，后访问的数据文件被分配的权值大；达到预设时间时，统计记录的每个被访问的数据文件被分配的权值之和，权值之和最大的文件为热点数据所在的文件。

9.如权利要求8所述的系统，其特征在于，

所述文件识别模块，还用于在预设时间到达前，若判断出按时间顺序依次记录的被访问的数据文件占用的空间达到或超过阈值，则删除最早记录的被访问的数据文件直至已记录的被访问的数据文件占用的空间满足要求。

10.如权利要求9所述的系统，其特征在于，

所述文件识别模块，用于将被访问的数据文件存储进队列，依次对进入队列中的数据文件分配从小到大的权值；在预设时间到达前，若队列满，则按照先入先出(FIFO)原则，将数据文件从队列头开始移出，将新被访问的数据文件继续存储进该队列；并且将更新后的队列中的数据文件的权值顺序设置为与更新前的队列中的数据文件的权值顺序相同。

11.如权利要求11所述的系统，其特征在于，所述文件识别模块，用于依次对进入队列中的数据文件分配从小到大的权值，包括：

将位于对头的数据文件分配权值1，队列中对头数据文件的后续数据文件被分配的权值比各自前一个数据文件被分配的权值多1。

12.如权利要求7～11中任一项所述的系统，其特征在于，所述副本创建模块，用于对所述文件动态创建副本，还包括：

当所述本地节点创建的热点数据文件的副本数达到预设的节点可存储副本阈值时，则依次在本地节点所在机架的其他节点、其他机架的节点上创建所述热点数据文件的副本。