[发明专利]Hadoop中基于Zigzag的MapReduce数据处理方法有效
| 申请号： | 201610586738.X | 申请日： | 2016-07-21 |
| 公开（公告）号： | CN106251374B | 公开（公告）日： | 2019-05-10 |
| 发明（设计）人： | 包先雨;陈枝楠;陈新;李军;郭云 | 申请（专利权）人： | 深圳市检验检疫科学研究院 |
| 主分类号： | G06T9/00 | 分类号： | G06T9/00 |
| 代理公司： | 深圳市明日今典知识产权代理事务所(普通合伙) 44343 | 代理人： | 王杰辉 |
| 地址： | 518000 广东*** | 国省代码： | 广东;44 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明公开了一种Hadoop中基于Zigzag的MapReduce数据处理方法，包括：将视频图像的离散余弦变换编码特点及相关的Zigzag分布特征信息引入MapReduce模型的拷贝过程中；将行程编码技术引入MapReduce模型的合并过程中；对合并后的数据进行Reduce处理。与现有技术相比，本发明的方法充分考虑了图像的DCT变换特点及相关Zigzag分布特征信息，其拷贝的数据量大小完全可控，拷贝环节内存不易溢出，随后采用行程编码合并后，Reduce过程中的硬盘IO访问次数将大大地减少，同时MapReduce视频处理性能也获得了极大提升。 | ||
| 搜索关键词： | hadoop 基于 zigzag mapreduce 数据处理 方法 | ||
【主权项】：
1.一种Hadoop中基于Zigzag的MapReduce数据处理方法，其特征在于，包括：将视频图像的离散余弦变换编码特点及相关的Zigzag分布特征信息引入MapReduce模型的拷贝过程中；将每个视频图像的16×16块按Zigzag顺序划分为16个4×4块；将每个4×4块采用Zigzag映射方式形成B(i,0)、B(i,1)、......、B(i,15)，其中，B表示块，i表示所述块中第i个4×4块；将16个4×4块相对应的数据采用Map过程映射到16个对应的Reduce端以形成块B(i，j)，每一所述块B(i，j)中具有16个数据；将行程编码技术引入所述MapReduce模型的合并过程中；对合并后的数据进行Reduce处理。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于深圳市检验检疫科学研究院，未经深圳市检验检疫科学研究院许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201610586738.X/，转载请声明来源钻瓜专利网。
