[发明专利]关系链存储系统的数据查询方法、装置、介质及电子设备在审
申请号: | 201810326507.4 | 申请日: | 2018-04-12 |
公开(公告)号: | CN110309169A | 公开(公告)日: | 2019-10-08 |
发明(设计)人: | 李兴;王栋;封烨;饶春平 | 申请(专利权)人: | 腾讯科技(北京)有限公司 |
主分类号: | G06F16/245 | 分类号: | G06F16/245 |
代理公司: | 深圳市隆天联鼎知识产权代理有限公司 44232 | 代理人: | 刘抗美 |
地址: | 100080 北京市海淀区海淀*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 数据查询 查询方式 存储系统 电子设备 结果数据 关系链 系统吞吐率 定量分析 查询 存储介质 柔性服务 筛选条件 使用场景 同类系统 用户体验 吞吐率 稀疏度 拉取 索引 存储 配置 | ||
1.一种用于数据查询的方法,所述数据包括第一属性和第二属性,其特征在于,该方法包括:
获取所述数据的总数据集和结果数据集,其中所述总数据集包括以所述第一属性对所述总数据集的数据进行排序生成的第一索引,所述结果数据集包括以所述第二属性的筛选条件从所述总数据集中筛选的数据;
基于所述数据的稀疏度选择所述数据的查询方式,其中所述稀疏度为所述总数据集中的数据数量与所述结果数据集中的数据数量的比值;
基于所选择的查询方式,生成所述总数据集中的数据的第二索引,其中所述第二索引包括以所述第二属性对在查询中筛选出的数据进行排序生成的第一子索引和以所述第一属性对所述总数据集中与在查询中筛选出的数据不同的其它数据进行排序生成的第二子索引。
2.根据权利要求1所述的方法,其特征在于,基于所述数据的稀疏度选择所述数据的查询方式包括:
当所述稀疏度大于或等于筛选阈值、并且所述结果数据集的数据数量大于或等于排序阈值时,选择慢查询遍历筛选方式;
当所述稀疏度大于或等于所述筛选阈值、并且所述结果数据集的数据数量小于所述排序阈值时,选择动态排序方式;
当所述稀疏度小于所述筛选阈值、并且所述结果数据集的数据数量大于或等于快排序阈值时,选择遍历筛选方式;
当所述稀疏度小于所述筛选阈值;并且所述结果数据集的数据数量小于所述快排序阈值时,选择所述动态排序方式,
其中在所述遍历筛选方式中,以所述第一索引从所述总数据集中筛选数据,当满足所述筛选条件的数据数量达到设定值或者对所述总数据集中的所有数据完成筛选时停止筛选,
在所述慢查询遍历筛选方式中,在与所述遍历筛选方式的进程不同的外部进程中处理所述数据并返回遍历筛选结果,
在所述动态排序方式中,以所述第二属性对所述总数据集中的数据进行排序以便从所述总数据集中筛选数据。
3.根据权利要求2所述的方法,其特征在于,当所述稀疏度大于或等于所述筛选阈值、并且所述结果数据集的数据数量小于所述排序阈值时,选择动态排序方式还包括:
当所述结果数据集的数据数量大于或等于慢排序阈值时,选择慢查询动态排序方式;
当所述结果数据集的数据数量小于所述慢排序阈值时,继续选择所述动态排序方式,
在所述慢查询动态排序方式中,在与所述动态排序方式的进程不同的外部进程中处理所述数据并返回动态排序结果。
4.根据权利要求2所述的方法,其特征在于,当所述稀疏度小于所述筛选阈值、并且所述结果数据集的数据数量大于或等于快排序阈值时,选择所述遍历筛选方式还包括:
当所述稀疏度大于或等于慢筛选阈值时,选择所述慢查询遍历筛选方式;
当所述稀疏度小于所述慢筛选阈值时,继续选择所述遍历筛选方式。
5.根据权利要求2所述的方法,其特征在于,
当选择所述遍历筛选方式时,设置跳跃计数最大值和跳跃步长,当不满足所述筛选条件的数据数量累计超过所述跳跃计数最大值时,在所述总数据集中跳过当前数据之后所述跳跃步长数量的数据继续筛选并且重新累计不满足所述筛选条件的数据数量。
6.根据权利要求1所述的方法,其特征在于,基于所选择的查询方式,生成所述总数据集中的所述数据的第二索引包括:
当选择所述遍历筛选方式时,以所述第二属性对在所述遍历筛选中筛选出的数据进行排序生成所述第一子索引;
当选择所述动态排序方式时,以在所述动态排序中筛选出的数据的筛选顺序生成所述第一子索引。
7.根据权利要求1至6中任一项所述的方法,其特征在于,还包括:
将所述第二索引存储在缓冲存储中。
8.根据权利要求1至6中任一项所述的方法,其特征在于,所述方法应用于关系链数据系统。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于腾讯科技(北京)有限公司,未经腾讯科技(北京)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201810326507.4/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种裁判文书搜索方法及装置
- 下一篇:一种任务型多轮对话中的复杂意图识别方法