[发明专利]一种用归并算法计算一对一join、一对多join的方法在审
申请号: | 201710931999.5 | 申请日: | 2017-10-10 |
公开(公告)号: | CN107704587A | 公开(公告)日: | 2018-02-16 |
发明(设计)人: | 蒋步星 | 申请(专利权)人: | 北京润乾信息系统技术有限公司 |
主分类号: | G06F17/30 | 分类号: | G06F17/30 |
代理公司: | 暂无信息 | 代理人: | 暂无信息 |
地址: | 100085 北京市*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 归并 算法 计算 一对一 join 一对 方法 | ||
1.一种用归并算法计算一对一join、一对多join的方法,步骤如下:
a.对在外存中的数据集A和B进行如下准备工作,同维数据集关系按照它们的主键排序,主子数据集关系主数据集A按照它的主键排序,子数据集B按关联主键的键排序或者全部和主键有关系的键排序(关联对应的键放到前边),把这些准备计算join的历史数据集全部保存好;(这是一次性准备工作,以后A和B再计算join时就不需要做这步准备了。)
b.用归并算法计算一对一join同维数据集A和B时,数据集A和B只要各自遍历一次,然后就可以在合并数据集中引用记录了。
计算一对多join主子数据集A和B的时候,原理和方法同上步骤2。就是把子数据集主键换成子数据集对应主数据集的关联键。
2.如权利要求1所述的一种用归并算法计算一对一join、一对多join的方法,其特征在于,数据量非常大内存装不下的互相关联数据集A和B,特点是关联键是事先知道并且确定的(此发明的必要条件)。如果数据集A中的主键对应数据集B中的主键,则A和B是一对一join同维数据集;如果数据集A中的主键对应子数据集B中的关联键,(子数据集B中的关联键是主数据集A中的主键一部分)则A和B是一对多join主子数据集,这是实施条件。
3.如权利要求1所述的一种用归并算法计算一对一join、一对多join的方法,其特征在于,数据集一次排序保存后可多次用归并算法计算。
4.如权利要求1所述的一种用归并算法计算一对一join、一对多join的方法,其特征在于,优势是只需要很小的内存就可以完成大数据的计算。
5.如权利要求1所述的一种用归并算法计算一对一join、一对多join的方法,其特征在于,同以前用hash方法解决同样的问题比,减少了大量硬盘IO的时间。
6.如权利要求1所述的一种用归并算法计算一对一join、一对多join的方法,其特征在于,所述方法适用于所有的系统、平台、软件、语言中。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京润乾信息系统技术有限公司,未经北京润乾信息系统技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201710931999.5/1.html,转载请声明来源钻瓜专利网。
- 上一篇:学员评价系统
- 下一篇:一种基于情感分析的教师评价系统