[发明专利]一种基于云计算的合并IO装置有效
| 申请号： | 201410640777.4 | 申请日： | 2014-11-12 |
| 公开（公告）号： | CN104407811B | 公开（公告）日： | 2017-09-19 |
| 发明（设计）人： | 别志铭;张健明;张勇鹏;王旭;王礼;吴楠 | 申请（专利权）人： | 珠海世纪鼎利科技股份有限公司 |
| 主分类号： | G06F3/06 | 分类号： | G06F3/06 |
| 代理公司： | 广州嘉权专利商标事务所有限公司44205 | 代理人： | 谭志强 |
| 地址： | 519085 广*** | 国省代码： | 广东;44 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明公开了一种基于云计算的合并IO装置，包括任务分解器，用于在接收到批量任务时，提取出每个任务的输入信息和输出信息；输入合并器，以原子数据块为单位，分别将输入信息中相同的原子数据块合并为一个原子数据块；输出合并器，用于将输出信息及对应任务名分别合并为对应的一个数组，每个任务只保留对应其在不同数组中的序号值；智能数据总线，用于以原子数据块为单位管理输入和输出信息，并以原子数据块为单位向hadoop传递以输入或输出信息为对应读写内容的读写数据。本发明在批量处理多个任务时，提取合并每个任务的输入和输出信息，共享相同的数据，把需要使用的数据，映射入内存，最大限度的使用内存，提升读写效率。 | ||
| 搜索关键词： | 一种 基于 计算 合并 io 装置 | ||
【主权项】：
一种基于云计算的合并IO装置，其特征在于，包括：任务分解器，用于在接收到批量任务时，提取出每个任务的输入信息和输出信息；输入合并器，以原子数据块为单位，分别将输入信息中相同的原子数据块合并为一个原子数据块；输出合并器，用于将输出信息及对应任务名分别合并为对应的一个数组，每个任务只保留对应其在不同数组中的序号值；智能数据总线，用于以原子数据块为单位管理输入和输出信息，并以原子数据块为单位向hadoop传递以输入或输出信息为对应读写内容的读写数据，智能数据总线为与hadoop通信的唯一接口，且当hadoop读取数据时，其每次读取的数据大小均为智能数据总线处理后的输入数据，此输入数据的大小为原子数据块的整数倍，不足以零补充，当hadoop写入数据时，其首先将数据传输至智能数据总线，智能数据总线将写入数据拼装成原子数据块的整数倍大小的输出数据后，再统一写入磁盘。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于珠海世纪鼎利科技股份有限公司，未经珠海世纪鼎利科技股份有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201410640777.4/，转载请声明来源钻瓜专利网。
