[发明专利]基于云计算的大数据分布式处理方法及系统在审
| 申请号： | 201711259714.4 | 申请日： | 2017-12-04 |
| 公开（公告）号： | CN108132970A | 公开（公告）日： | 2018-06-08 |
| 发明（设计）人： | 黄凯锋;周岩;王旭辉;李莉;孟庆超 | 申请（专利权）人： | 洛阳师范学院 |
| 主分类号： | G06F17/30 | 分类号： | G06F17/30 |
| 代理公司： | 北京科家知识产权代理事务所(普通合伙) 11427 | 代理人： | 陈娟 |
| 地址： | 471000 河南省洛阳市龙*** | 国省代码： | 河南;41 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 一种基于云计算的大数据分布式处理方法，其包括如下步骤：S1、接收输入文件，根据输入文件大小进行输入分片，将各个输入分片分配一个映射任务，输入分片存储分片长度以及记录数据的位置的数组；S2、通过预先编写的映射函数在数据存储节点上进行映射得到中间文件；S3、合并中间文件中的重复键值；S4、在内存中开辟环形内存缓冲区，环形内存缓冲区用于映射输出文件输出；在环形内存缓冲区中创建配置文件；保护线程暂停将数据写入内存，并在内存中写入溢出文件，溢出文件确定写入磁盘的文件，并将环形内存缓冲区的文件写入磁盘直至所有的映射输出文件输出完毕；S5、将所有的映射输出文件并存储到分布式文件存储系统上。 | ||
| 搜索关键词： | 映射 缓冲区 环形内存 输出文件 分布式处理 溢出文件 中间文件 大数据 云计算 磁盘 写入 分布式文件存储系统 数据存储节点 数据写入内存 输出 分片存储 记录数据 接收输入 配置文件 输入文件 文件写入 映射函数 数组 线程 存储 合并 重复 分配 创建 | ||
【主权项】：
一种基于云计算的大数据分布式处理方法，其特征在于，其包括如下步骤：S1、接收输入文件，根据输入文件大小进行输入分片，将各个输入分片分配一个映射任务，输入分片存储分片长度以及记录数据的位置的数组；S2、通过预先编写的映射函数在数据存储节点上进行映射得到中间文件；S3、合并中间文件中的重复键值，以降低映射输出文件冗余；并对合并后的键值进行序列化得到映射缓存文件；自动获取各个计算节点的计算负载值，根据计算节点的计算负载值将各个映射缓存文件分配到各个计算节点中；S4、在内存中开辟环形内存缓冲区，环形内存缓冲区用于映射输出文件输出；在环形内存缓冲区中创建配置文件，在配置文件中配置内存缓冲区的内存占用阈值；在环形内存缓冲区中内存占用大于或等于占用阈值时，保护线程暂停将数据写入内存，并在内存中写入溢出文件，溢出文件确定写入磁盘的文件，并将环形内存缓冲区的文件写入磁盘直至所有的映射输出文件输出完毕；S5、将所有的映射输出文件并存储到分布式文件存储系统上。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于洛阳师范学院，未经洛阳师范学院许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201711259714.4/，转载请声明来源钻瓜专利网。
