[发明专利]一种百亿级数据量多条件快速结果估算的方法有效
申请号: | 202010268561.5 | 申请日: | 2020-04-07 |
公开(公告)号: | CN111625557B | 公开(公告)日: | 2023-04-14 |
发明(设计)人: | 董一聪 | 申请(专利权)人: | 上海熙菱信息技术有限公司 |
主分类号: | G06F16/2453 | 分类号: | G06F16/2453;G06F16/2458;G06F16/248;G06F16/28 |
代理公司: | 上海旭诚知识产权代理有限公司 31220 | 代理人: | 郑立 |
地址: | 201203 上海市浦东新区中国(上*** | 国省代码: | 上海;31 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 百亿 级数 据量多 条件 快速 结果 估算 方法 | ||
1.一种百亿级数据量多条件快速结果估算的方法,其特征在于,包括以下步骤:
步骤A、部署Mycat数据中间件的Mysql数据库,安装TokuDB引擎,安装zstd行压缩模式;
步骤B、创建预统计信息,结合使用场景,在系统构建时,采用数据预统计技术对每天实时存入数据库的大量数据进行多个维度的事先统计;
步骤C、在预统计信息创建后,系统每次进行业务查询时,根据用户的查询条件到所述步骤B的所述预统计信息中进行查询并将所述查询结果进行组合;
步骤D、在数据查询时,系统根据查询条件中的时间条件,结合所述预统计信息以及系统页面展示需要,将时间进行截断查询。
2.如权利要求1所述的百亿级数据量多条件快速结果估算的方法,其特征在于,所述步骤B具体包括选取业务查询的条件作为维度,程序自动建立这些维度,在实时数据库中进行统计并将统计结果写入到对应结果表中,以便在业务场景查询时根据所述统计结果实施所述步骤C和所述步骤D。
3.如权利要求2所述的百亿级数据量多条件快速结果估算的方法,其特征在于,所述步骤B的条件查询包括过车量查询。
4.如权利要求1所述的百亿级数据量多条件快速结果估算的方法,其特征在于,所述步骤D的所述系统页面展示需要包括分页展示时每页显示的信息数量有限。
5.如权利要求2所述的百亿级数据量多条件快速结果估算的方法,其特征在于,所述TokuDB的索引在线创建。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于上海熙菱信息技术有限公司,未经上海熙菱信息技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202010268561.5/1.html,转载请声明来源钻瓜专利网。