[发明专利]海量数据分库存储的方法、装置、计算机设备及存储介质有效
申请号: | 201910809222.0 | 申请日: | 2019-08-29 |
公开(公告)号: | CN110532268B | 公开(公告)日: | 2023-04-28 |
发明(设计)人: | 朱志伟 | 申请(专利权)人: | 深圳前海环融联易信息科技服务有限公司 |
主分类号: | G06F16/22 | 分类号: | G06F16/22;G06F16/2458;G06F16/27;G06Q30/04 |
代理公司: | 深圳市精英专利事务所 44242 | 代理人: | 林燕云 |
地址: | 518000 广东省深圳市前海深港合作区前*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 海量 数据 库存 方法 装置 计算机 设备 存储 介质 | ||
1.一种海量数据分库存储的方法,其特征在于,包括:
提取同类型海量数据的关键字段的值;
根据所述关键字段的值对同类型海量数据进行分段;
为各段的海量数据分配相应的数据库,并将各段的海量数据存储至相应的数据库中;
所述海量数据的类型为发票数据;
所述提取同类型海量数据的关键字段的值包括:
提取发票数据的企业税号;
获取企业税号中表示企业标识的关键字段的值;
所述根据所述关键字段的值对同类型海量数据进行分段包括:
对所述表示企业标识的关键字段的值进行解析;
若所述表示企业标识的关键字段的值为纯数字的组合,将对应的发票数据归为第一段;
若所述表示企业标识的关键字段的值为数字与X的组合,将对应的发票数据归为第二段;
若所述表示企业标识的关键字段的值为数字与除X之外的其他字母的组合,将对应的发票数据归为第三段;以及若所述表示企业标识的关键字段的值为:前面一个字符为字母、后面一个字符是字母或数字的组合,也将对应的发票数据归为第三段;
所述纯数字的组合为两个单一数字构成的两位数组合;所述数字与X的组合为单个数字与X构成的两位数组合;所述数字与除X之外的其他字母的组合为单个数字与除X之外的单个字母构成的两位数组合;
所述为各段的海量数据分配相应的数据库,并将各段的海量数据存储至相应的数据库中包括:
对于纯数字的组合的情况,分配100个第一数据库;对于数字与X的组合的情况,分配10个第二数据库;对于数字与除X之外的其他字母的组合的情况,分配1个第三数据库;
将第三数据库分为三个存储区域:第一存储区域、第二存储区域和第三存储区域,对于第一存储区域,用来存储数字+除X外的其他字母的组合对应的发票数据;对于第二存储区域,用来存储字母+数字的组合对应的发票数据;对于第三存储区域,其可用来存储字母+字母的组合对应的发票数据;
将各存储区域的大小设置为浮动;所述第一存储区域、第二存储区域和第三存储区域,分别设置一上限和下限,用于确定是否转移存储空间;若某一存储区域存储的数据量低于其下限时,则将该存储区域的大小减去其下限得到的存储空间转移给其他存储区域,并且优先转移给存储较多数据量的存储区域;或者,某一存储区域存储的数据量高于其上限时,则可将其他存储区域的大小减去其上限得到的存储空间转移给该存储区域,并且优先从存储较少数据量的存储区域中转移存储空间。
2.根据权利要求1所述的海量数据分库存储的方法,其特征在于,所述为各段的海量数据分配相应的数据库,并将各段的海量数据存储至相应的数据库中还包括:
根据所述表示企业标识的关键字段的值将第一段的海量数据存储至匹配的第一数据库中;
根据所述表示企业标识的关键字段的值将第二段的海量数据存储至匹配的第二数据库中;
将第三段的海量数据存储至第三数据库中。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于深圳前海环融联易信息科技服务有限公司,未经深圳前海环融联易信息科技服务有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910809222.0/1.html,转载请声明来源钻瓜专利网。
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置