[发明专利]一种大图像文件及生成和读取方法

说明书

技术领域

本发明属于大数据图像分析技术领域，更具体地，涉及一种大图像文件及生成和读取方法。

背景技术

在智能交通领域，前端设备所采集的图像是海量的，需要对这些海量图像信息进行传输、汇总、存储和分析。因此采用hadoop技术来解决这些问题，然而，在Hadoop分布式文件系统(Hadoop Distributed File System，HDFS)中，每个文件需要占用不低于64M的磁盘空间，若卡口采用高清设备拍摄道路过往的车辆所产生的图像尺寸最大不超过2M。当这些图像文件保存到HDFS中，会出现2M的图像将占用64M的磁盘空间。这将造成磁盘空间的浪费，在对图像分析处理的时候，导致服务器内存利用率比较低。若把多个图像文件压缩后，存储到HDFS中，能解决磁盘利用率低的问题，但是在对图像分析计算的时候，每次都需要对文件解压后才能进行分析和计算；若仅仅想查看压缩的单个图像文件，也需要对图像解压，会增加服务器cpu负荷，降低服务器内存消耗。

发明内容

为了解决使用hadoop技术处理海量图像文件时磁盘利用率低，cpu负荷高，服务器内存占用大的问题，本发明提出了一种大图像文件及其生成和读取方法。

为了实现上述目的，按照本发明的一个方面，提供了一种大图像文件，所述大图像文件由2部分组成，第一部分是头文件，第二部分是图像文件集合，其中第一部分头文件由5个区间组成：第一区间记录大图像文件后缀信息，即存储该大图像文件中的原始图像文件的类型信息；第二区间记录每个图像文件所占用磁盘空间；第三区间表示大图像文件最多能存储的图像文件数量；第四区间表示大图像文件已经存储的图像文件数量；第五区间为系统预留空间；第二部分图像文件集合由多个图像文件组成，每个图像文件都占据头文件第二区间所设定的空间大小，每个图像文件由5个区间组成：第六区间表示文件序号，；第七区间表示图像文件存储的时间；第八区间存储原始图像文件的尺寸大小；第九区间存储原始图像文件；第十区间是缺省填充值。

本发明的一个实施例中，所述大图像文件大于或等于64M。

本发明的一个实施例中，所述第一区间记录的大图像文件后缀信息为bjpg、bjpeg、bgif、bpng或bbmp。

本发明的一个实施例中，所述第一区间占位10字节。

本发明的一个实施例中，所述第三区间的缺省值是100。

本发明的一个实施例中，所述第二区间的值是2048。

本发明的一个实施例中，所述第五区间占位10字节。

本发明的一个实施例中，所述第十区间缺省值为0。

按照本发明的另一方面，还提供了一种上述大图像文件的生成方法，包括：

将多个同类型的原始图像文件加载到内存中，并获得这些原始图像文件的最大尺寸、数量和类型；

根据原始图像文件的最大尺寸、数量和类型，创建大图像文件的头文件；

根据原始图像文件创建大图像文件的图像文件集合；

在内存中合并大图像文件的头文件和图像文件集合，并写入磁盘。

按照本发明的另一方面，还提供了一种上述大图像文件的读取方法，包括：

根据大图像文件名读取大图像文件，并加载到内存中；

判断需要读取的原始图像文件序号与大图像文件中所容量最大图像文件数量的大小，若原始图像文件序号大于图片数，则返回原始图像文件不存在的信息，结束图像读取；否则根据头文件中规定的原始图像文件的尺寸大小和需要读取的原始图像文件序号计算偏移量；

读取偏移量位置处的原始图像文件，并判断读取的原始图像文件序号与需读取原始图像文件序号是否相同，若不相同，则返回原始图像文件不存在的信息，结束图像读取；若相同，则根据图像尺寸读取原始图像文件。

与现有技术相比，本发明具有如下有益效果：

(1)提高图片文件在HDFS文件系统中磁盘空间的利用率，从3％提高到99.9％(0.1％是新增头文件的占用空间)

(2)提高从HDFS文件系统中获取图像文件速度，对比图像压缩存储，不需要对图像集合解压缩，只需要大图像文件名和索引，就能快速获取图像信息。

(3)在HDFS文件系统中，大图像格式适合对同类型小图像文件进行聚合后，统一进行运算，分析和处理。在非HDFS文件系统中，大图像文件格式也适合用同一的算法批量快速地进行分析。

(4)同时进一步推广，本发明方案也适合对其他非图像的同类型文件进行统一存储，运算，分析和处理。

附图说明