[发明专利]一种基于Hadoop的图像质量评估系统

摘要

本发明公开了一种基于Hadoop的图像质量评估系统，包括客户端和Hadoop集群；客户端包括服务选择模块和和图片传输模块；Hadoop集群包括主节点和多个子节点；所述主节点负责作业的初始化、作业的分配、作业的协调执行，同时负责管理集群的文件系统；所述子节点上设有图像质量评估模块，负责map任务和reduce任务的执行以及数据块存储；所述主节点上设有通信服务器，所述通信服务器负责接收从客户端发送过来的图像并为每个用户开启一个MapReduce作业进行图像质量评估。本发明利用Hadoop集群的分布式并行计算优势，有效缩短大量图片质量评估的处理时间，提升了用户体验。

主权项

1.一种基于Hadoop的图像质量评估系统，其特征在于，包括客户端和Hadoop集群；所述客户端包括服务选择模块和图片传输模块；所述服务选择模块用于选择用户需要质量评估的图像和服务，并显示从服务器端返回的图像质量评估的结果；所述图片传输模块用于通过互联网向服务器端发送用户请求、传输用户图像，以及接收从服务器端返回的结果；所述Hadoop集群包括主节点和多个子节点；所述主节点负责作业的初始化、作业的分配、作业的协调执行，同时负责管理集群的文件系统；所述子节点上设有图像质量评估模块，负责map任务和reduce任务的执行以及数据块存储；所述主节点上设有通信服务器，所述通信服务器负责接收客户端发送的图像并为每个用户开启一个MapReduce作业进行图像质量评估；通信服务器的工作过程如下：首先，将接收到的每个用户的图像存储在特定目录下，并将该目录上传到HDFS；然后，为每个用户开启一个MapReduce作业；最后，MapReduce调用图像质量评估模块的图像质量评估算法的C++动态链接库处理输入的图像；所述开启一个MapReduce作业进行图像质量评估，具体为：(1)建立MapReduce工作流程：建立MapReduce处理多用户请求的工作流程、建立MapReduce处理多图像的工作流程；(2)定义图像文件的输入数据类型：定义图像输入的数据类型ImgFile类，图像文件输入格式ImgFileInputFormat类，图像键值对读入格式ImgFileRecordReader类；(3)在map函数中实现图像质量评估：实现MapReduce对图像质量评估模块的算法和实现MapReduce函数；所述建立MapReduce工作流程，具体为：(1‑1)建立MapReduce并行处理多用户请求的工作流程：每个用户的数据作为一个MapReduce作业的输入，通过作业调度器实现多作业的并行处理；(1‑2)建立MapReduce处理多图像的工作流程：把整张图像作为一个输入分片，并将整个分片作为一个记录；在map阶段，用户的每张图像将被看作一个分片，由实现了图像质量评估算法的map函数处理；输入图像由<图像文件名，图像内容>的键值对形式表示，输出结果由<图像文件名，图像质量评估结果>的键值对形式表示；在reduce阶段，reduce任务将map任务的结果汇总并输出一个文本文件。