[发明专利]一种数据归档方法及装置有效
申请号: | 201710201729.9 | 申请日: | 2017-03-30 |
公开(公告)号: | CN108664503B | 公开(公告)日: | 2021-01-26 |
发明(设计)人: | 赵明 | 申请(专利权)人: | 北京京东尚科信息技术有限公司;北京京东世纪贸易有限公司 |
主分类号: | G06F16/21 | 分类号: | G06F16/21;G06F16/242 |
代理公司: | 中原信达知识产权代理有限责任公司 11219 | 代理人: | 张一军;姜劲 |
地址: | 100195 北京市海淀区杏石口路6*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 数据 归档 方法 装置 | ||
本发明提供了一种数据归档方法及装置,该方法用于将业务表中已处理完成的数据迁移到历史表中对数据进行实时归档,其中,在接收用户发出的根据业务需求的业务操作请求之后,所述方法执行如下步骤:创建与业务表结构相同的历史表,并在所述业务表的头部添加对所述历史表的数据归档注解;实时监听对包含所述数据归档注解的所述业务表的操作请求,并收集与执行所述业务表的数据操作有关的操作参数;根据收集的所述操作参数生成执行对所述历史表进行数据操作的SQL语句。本发明通过监听注解的方式,拦截器在拦截之后执行数据归档流程,实现通用的数据实时归档方案,通过对业务表运行时数据与历史数据的解耦,提高了业务数据表的读写性能。
技术领域
本发明涉及计算机领域,具体涉及一种数据归档方法及装置。
背景技术
在大型应用系统中,部分业务表的数据量会随着业务发展而逐渐增长,这样就逐渐严重影响业务表的读写效率。由于已处理完成的数据不会再有写的操作请求,而只需满足用户由于具体业务对业务表的查询需求,因此可以将业务表中已处理完成的数据迁移至历史表中。
在现有技术中,对迁移数据进行实时归档是根据业务表的数据量决定对业务表的归档方式,从而实现运行数据与历史数据的分离。具体来说,归档方案为如下两个步骤:
第一步:配置调度计划,定时触发执行数据归档任务;
第二步:在数据归档任务中,实时轮询业务表中满足归档条件的数据,并将读取的数据迁移至历史表中,然后清除业务表中已迁移的数据。
虽然这种方式不仅极大地减少了业务表的数据量,而且能够提高应用系统对业务表的读写效率,给用户带来良好的操作体验,但是在实现本发明过程中,发明人发现现有技术中上述的业务数据归档方法至少存在如下问题:
1.根据业务表中的内容,用户需要定制针对各种不同数据的归档任务,因此该数据归档方法的通用性较差。
2.当业务表变更时,历史表与数据归档任务也需要同时变化,因此对应用系统的维护成本较高。
3.由于需要实时轮询业务表中待归档的数据,因此对应用系统的业务表的读写性能影响较大。
发明内容
有鉴于此,本发明实施例提供一种数据归档方法及装置,能够通过注解声明和监听注解的方式,执行数据归档流程,实现通用的数据实时归档。
为实现上述目的,根据本发明的一个方面,提供了一种数据归档方法,所述方法用于将业务表中已处理完成的数据迁移到历史表中对数据进行实时归档,其中,在接收用户发出的根据业务需求的业务操作请求之后,所述方法执行如下步骤:
创建与业务表结构相同的历史表,并在所述业务表的头部添加对所述历史表的数据归档注解;
实时监听对包含所述数据归档注解的所述业务表的操作请求,并收集与执行所述业务表的数据操作有关的操作参数;
根据收集的所述操作参数生成执行对所述历史表进行数据操作的SQL语句。
可选地,该方法还包括:在所述业务表的头部添加对所述历史表的数据归档注解之后,将操作所述业务表和所述历史表的SQL语句放在同一数据库事务中,当出现执行异常时,放弃执行所述数据库事务。
可选地,所述数据归档注解包括:历史实体注解、数据归档注解;
所述操作参数包括:业务数据副本、命名空间、业务操作类型。
本发明实施例还提供一种数据归档装置,所述装置用于将业务表中已处理完成的数据迁移到历史表中对数据进行实时归档,所述装置包括:
数据注解模块,用于创建与业务表结构相同的历史表,并在所述业务表的头部添加对所述历史表的数据归档注解;
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京京东尚科信息技术有限公司;北京京东世纪贸易有限公司,未经北京京东尚科信息技术有限公司;北京京东世纪贸易有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201710201729.9/2.html,转载请声明来源钻瓜专利网。
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置