[发明专利]一种支持局部性表达函数的大数据处理方法和系统有效
申请号: | 201711250255.3 | 申请日: | 2017-12-01 |
公开(公告)号: | CN108241472B | 公开(公告)日: | 2021-03-12 |
发明(设计)人: | 汪小林;潘成;陈一峯;罗英伟 | 申请(专利权)人: | 北京大学 |
主分类号: | G06F3/06 | 分类号: | G06F3/06;H04L29/08 |
代理公司: | 北京君尚知识产权代理有限公司 11200 | 代理人: | 邱晓锋 |
地址: | 100871 北*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | 本发明涉及一种支持局部性表达函数的大数据处理方法和系统。该方法包括以下步骤:1)发掘大数据处理系统中所处理的数据的局部性,形成局部性表达函数;2)将局部性表达函数部署在大数据处理系统中;3)大数据处理系统按照局部性表达函数分配工作任务。所述大数据处理系统采用分布式存储方式或集中式存储方式;所述局部性表达函数在在大数据处理系统中的部署方式分为两种类型:内置式冷启动模式、外置式热插拔模式。本发明通过发掘数据中隐藏的局部性,并且使用自定义的局部性函数表达出来,最终被大数据处理系统识别,按照局部性来分配机器执行任务,从而达到优化处理效率。 | ||
搜索关键词: | 一种 支持 局部性 表达 函数 数据处理 方法 系统 | ||
【主权项】:
1.一种支持局部性表达函数的大数据处理方法,其特征在于,包括以下步骤:1)发掘大数据处理系统中所处理的数据的局部性,形成局部性表达函数;2)将局部性表达函数部署在大数据处理系统中;3)大数据处理系统按照局部性表达函数分配工作任务。
下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京大学,未经北京大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/patent/201711250255.3/,转载请声明来源钻瓜专利网。
- 上一篇:一种提升固态硬盘性能的方法
- 下一篇:存取闪存的方法及相关的控制器