[发明专利]一种数据归档的方法和装置

说明书

本发明公开了一种数据归档的方法和装置，涉及计算机技术领域。该方法的一具体实施方式包括：接收归档控制请求，归档控制请求包括用于控制归档操作是否停止的缓存开关值；若缓存开关值为归档操作继续，则根据数据查询指令从源数据库中流式获取归档数据，并将获取的归档数据封装为消息，添加到消息队列中；从消息队列中获取消息，并将解析得到的归档数据异步保存到目标数据库中。该实施方式通过缓存开关来控制查询停止，解决由于归档操作给数据库服务器造成的压力；并且通过流式查询数据并缓存，解决了因分页查询带来的性能问题；利用消息队列异步存储数据，可以避免读取数据后必须同步保存而带来的数据库性能问题。

技术领域

本发明涉及计算机技术领域，尤其涉及一种数据归档的方法和装置。

背景技术

随着互联网技术的快速发展，各个行业越来越信息化，随之而来的是数据的与日俱增。不管是哪个行业，伴随着数据的增长，都会面临一个问题，保存线上生产数据的生产库库压力越来越大，因此需要将历史数据进行归档，从而减轻生产库的压力。在进行数据归档时，需要读取生产库中的数据并在数据读取完毕后立即存储(或同步存储)到归档数据库中。

在实现本发明过程中，发明人发现现有技术中至少存在如下问题：

在进行数据归档过程中，由于数据的读取和存储过程无法中断，故而当数据归档与业务操作冲突时会严重影响数据库的性能。另外，现有的分页查询方式会影响数据库的性能，且当数据存储失败后需要单独存储在异常表中，故而会增加处理异常数据的工作量。

发明内容

有鉴于此，本发明实施例提供一种数据归档的方法和装置，能够通过缓存开关来控制查询停止，解决由于归档操作给数据库服务器造成的压力；并且通过流式查询数据并缓存，解决了因分页查询带来的性能问题；利用消息队列异步存储数据，可以避免读取数据后必须同步保存而带来的数据库性能问题。

为实现上述目的，根据本发明实施例的一个方面，提供了一种数据归档的方法。

一种数据归档的方法，包括：接收归档控制请求，所述归档控制请求包括用于控制归档操作是否停止的缓存开关值；若所述缓存开关值为归档操作继续，则根据数据查询指令从源数据库中流式获取归档数据，并将获取的归档数据封装为消息，添加到消息队列中；从所述消息队列中获取消息，并将解析得到的归档数据异步保存到目标数据库中。

可选地，根据数据查询指令从源数据库中流式获取归档数据，并将获取的归档数据封装为消息包括：根据数据查询指令从源数据库中查询归档数据并保存到源数据库端的发送缓存中；每当所述发送缓存中的归档数据量满足设定的数据包大小时，从所述发送缓存中获取归档数据，逐条解析所述归档数据并封装为消息。

可选地，还包括：若所述缓存开关值为归档操作停止，则停止数据归档，直接释放内存资源。

可选地，还包括：若需要对解析得到的归档数据进行字段扩展，则从所述消息队列中获取消息，并将解析得到的归档数据与扩展字段进行封装，再保存到所述目标数据库中，其中，所述扩展字段是从扩展字段数据库中获取的。

可选地，还包括：在将解析得到的归档数据异步保存到目标数据库的过程中，若出现异常情况，则重试直至保存成功。

可选地，通过数据库连接接口建立与数据库的通信连接，并设置数据库查询方式为流式查询。

根据本发明实施例的另一方面，提供了一种数据归档的装置。

一种数据归档的装置，包括：请求接收模块，用于接收归档控制请求，所述归档控制请求包括用于控制归档操作是否停止的缓存开关值；数据获取模块，用于若所述缓存开关值为归档操作继续，则根据数据查询指令从源数据库中流式获取归档数据，并将获取的归档数据封装为消息，添加到消息队列中；数据保存模块，用于从所述消息队列中获取消息，并将解析得到的归档数据异步保存到目标数据库中。