[发明专利]一种海量外排序方法在审
申请号: | 202110009351.9 | 申请日: | 2021-01-06 |
公开(公告)号: | CN112631787A | 公开(公告)日: | 2021-04-09 |
发明(设计)人: | 薛昌熵 | 申请(专利权)人: | 薛昌熵 |
主分类号: | G06F9/50 | 分类号: | G06F9/50 |
代理公司: | 暂无信息 | 代理人: | 暂无信息 |
地址: | 726412 *** | 国省代码: | 陕西;61 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | 本发明公开了一种适应于海量数据外排序的方法。先使用采样器多次对海量规模的待排序数据随机采样,得到样本序列后排序;桶的大小为接近可用内存空间,需要分桶的个数为待排序数据体积/桶大小,将排序的样本顺序均匀分配给这些桶,可得桶的上下界;经过一遍粗排,扫描一遍外存中的海量原始数据后,依照桶边界分发到相应的外存桶中,达到桶之间宏观有序,桶内微观无序;最后精排,可选区某个、部分或者全部范围的桶,将桶调入内存,选取某种内排序方法后写回。此方法读写磁盘至多两次,分桶匀称效率高,还可部分优先排序。此方法的运算时间是采样时间、内排序时间加上外存读写两遍时间,空间占用是多一倍辅助空间用于输出最终文件。使用此方法单机亦可轻松完成海量外排序。 | ||
搜索关键词: | 一种 海量 外排 方法 | ||
【主权项】:
暂无信息
下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于薛昌熵,未经薛昌熵许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/patent/202110009351.9/,转载请声明来源钻瓜专利网。