[发明专利]二级索引的构建方法、装置及设备有效
申请号: | 201811426358.5 | 申请日: | 2018-11-27 |
公开(公告)号: | CN111221814B | 公开(公告)日: | 2023-06-27 |
发明(设计)人: | 刘洋 | 申请(专利权)人: | 阿里巴巴集团控股有限公司 |
主分类号: | G06F16/22 | 分类号: | G06F16/22;G06F16/242 |
代理公司: | 北京清源汇知识产权代理事务所(特殊普通合伙) 11644 | 代理人: | 冯德魁;张艳梅 |
地址: | 英属开曼群岛大开*** | 国省代码: | 暂无信息 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 二级 索引 构建 方法 装置 设备 | ||
1.一种二级索引的构建方法,其特征在于,包括:
通过映射任务读取服务节点中的原始数据;
选择所述原始数据中的非主键列作为二级索引表的主键列,根据所述二级索引表的主键列构造二级索引表的数据;
将所述二级索引表的数据写入二级索引表中;
所述将所述二级索引表的数据写入二级索引表中,包括:通过汇总任务中的索引文件写入线程生成包括所述二级索引表的数据的文件,将所述文件加载到所述二级索引表中。
2.根据权利要求1所述的方法,其特征在于,所述映射任务包括与服务节点中的主表分区对应的本地区域服务线程;
所述通过映射任务读取服务节点中的原始数据,包括:通过所述映射任务中的本地区域服务线程读取服务节点中的与所述本地区域服务线程对应的主表分区的原始数据。
3.根据权利要求1所述的方法,其特征在于,还包括:对服务节点中的原始数据进行快照操作,生成原始数据的快照数据;
所述通过映射任务读取服务节点中的原始数据,包括:通过映射任务读取服务节点中的原始数据的快照数据;
所述选择所述原始数据中的非主键列作为二级索引表的主键列,包括:选择所述原始数据的快照数据中的非主键列作为二级索引表的主键列。
4.根据权利要求1所述的方法,其特征在于,还包括:获得二级索引表的主键列的指示信息;
所述选择所述原始数据中的非主键列作为二级索引表的主键列,包括:根据所述二级索引表的主键列的指示信息,从所述原始数据中查找与所述二级索引表的主键列匹配的非主键列,将所述与所述二级索引表的主键列匹配的非主键列确定为二级索引表的主键列。
5.根据权利要求1所述的方法,其特征在于,所述根据所述二级索引表的主键列构造二级索引表的数据,包括:
将原始数据中的主键列以及除被作为二级索引表的主键列之外的非主键列构造为二级索引表的非主键列。
6.根据权利要求1所述的方法,其特征在于,所述将所述二级索引表的数据写入二级索引表中,包括:
按照所述二级索引表的数据结构,对所述二级索引表的数据进行聚合和排序处理,得到聚合和排序处理后的二级索引表的数据;
将所述聚合和排序处理后的二级索引表的数据写入索引表中。
7.根据权利要求6所述的方法,其特征在于,所述按照所述二级索引表的数据结构,对所述二级索引表的数据进行聚合和排序处理,得到聚合和排序处理后的二级索引表的数据,包括:
获得所述二级索引表的主键列的特征要求信息;
根据所述二级索引表的主键列的特征要求信息,对所述二级索引表的数据进行聚合和排序处理,得到聚合和排序处理后的二级索引表的数据。
8.根据权利要求1所述的方法,其特征在于,所述汇总任务的数量与所述二级索引表的分区数量相同。
9.根据权利要求1所述的方法,其特征在于,所述映射任务为在服务节点中运行的映射任务。
10.根据权利要求1所述的方法,其特征在于,所述二级索引表为非关系型数据库中的二级索引表。
11.一种二级索引的构建装置,其特征在于,包括:
原始数据读取单元,用于通过映射任务读取服务节点中的原始数据;
二级索引表数据构造单元,用于选择所述原始数据中的非主键列作为二级索引表的主键列,根据所述二级索引表的主键列构造二级索引表的数据;
索引表数据写入单元,用于将所述二级索引表的数据写入二级索引表中,包括:通过汇总任务中的索引文件写入线程生成包括所述二级索引表的数据的文件,将所述文件加载到所述二级索引表中。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于阿里巴巴集团控股有限公司,未经阿里巴巴集团控股有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201811426358.5/1.html,转载请声明来源钻瓜专利网。