[发明专利]基于Hadoop平台的海量图片的快速检索方法

权利要求书

1.搭建Hadoop集群平台：每台计算机安装操作系统和Hadoop软件，将一台计算机配置成NameNode，其它计算机配置成DataNodes；各个机器通过SSH直接通信；NameNode负责的是整个存储层的管理，DataNode主要作为存储节点；验证DataNode和NameNode之间联通性是通过心跳检测来实现，并且DataNode还要定期将自己的存储区信息发送给NameNode；当客户端访问时，首先访问NameNode，NameNode会分配相应的空间，在得到相应的空间后开始各个作业。

2.设置安全策略：Hadoop集群平台中新增一台DataNode2作为NameNode备份机，将原有NameNode中的数据复制到选定的DataNode2中，在NameNode运行时，NameNode2会实时的检测NameNode的运行状态，同时把NameNode中的操作实时更新到本地，在NameNode出现故障时，NameNode2代替NameNode保证服务的正常进行。

3.单图片存储处理：图片先经过负载均衡模块过滤，进入应用服务器队列等待进入HDFS存储系统，通过NameNode分配DataNode进行存储，图片写入过程中先确定写入Block，再确定Sequence File，系统将二者的ID组合命名为图片的系统内的名称；图片元数据保存在HBase，同时元数据也保存在由Redis构建的缓存系统中；图片完成写入操作。

4.文件预处理合并：将指定目录下的图片文件读取进图片数组，并初始化byte数组，用相应的输出文件流将byte中的图片读入到指定路径下的合并文件中去。

5.建立图片索引：图片名用的是联合编码的方式，主要包含BlockId和FileId两部分；其中BlockId代表的是一个存储单元，NameNode可以根据其确定最近的DateNode地址，FileId代表的是小图片在拼接的时候SequenceFile的Id；offset代表的是相应key值的一个的偏移量；HDFS前端在接收到客户端的请求后首先会解析文件名，根据相关信息定位到相应的Block文件、FileId和 offset，然后客户端直接对图片进行读取；在对文件名解析以后，可以直接读取DateNode节点数据，并可以通过偏移量定位到图片的开始位置。

6.客户端以图片名称和创建时间为参数发起访问请求，NameNode运算获取图片所在分钟时间段和合并文件对应的Blocks信息，返回给客户端；客户端向最近的DataNode发起图片读取请求；DataNode运算获得图片具体地址信息。