[发明专利]一种实现数据写入的方法及装置

说明书

本申请实施例公开了一种实现数据写入的方法及装置，用于减少数据写入耗时，该方法包括：获取当前数据库事务，从当前数据库事务中解析得到操作类型以及数据；当操作类型为写入操作且数据的写入方式为写入聚合文件时，将操作类型、聚合文件的标识以及聚合文件的写入位置封装成待处理事务；将聚合文件的标识、聚合文件的写入位置以及数据封装成数据项，并将数据项缓存到数据列表中；将待处理事务封装成日志，将日志和数据列表封装成写入事项结构，将写入事项结构提交到日志队列中；获取写入事项结构，将数据列表中的数据写入聚合文件，将日志写入日志系统。

技术领域

本申请涉及数据处理技术领域，具体涉及一种实现数据写入的方法及装置。

背景技术

随着信息时代数据规模的急剧增长和数据价值的不断提升，存储系统必须具备良好的可扩展性并采取有效的措施来保证用户数据的可靠性和存取的高性能。为了适应存储服务需求，已存在集文件存储、对象存储、块存储、大数据四种存储服务于一身的分布式存储架构，其凭借高效可靠的数据自动修复和自动运维机制，显著降低了存储管理的负担。但是海量数据往存储系统写入数据的时候，一般是二次写入，先写入日志系统，然后再写入底层存储设备，造成写入耗时很长，特别是并发写入时问题更加的凸显。

发明内容

有鉴于此，本申请实施例提供一种实现数据写入的方法及装置，以解决现有技术中数据写入耗时较长的技术问题。

为解决上述问题，本申请实施例提供的技术方案如下：

一种实现数据写入的方法，所述方法包括：

获取当前数据库事务，从所述当前数据库事务中解析得到操作类型以及数据；

当所述操作类型为写入操作且所述数据的写入方式为写入聚合文件时，将所述操作类型、聚合文件的标识以及所述聚合文件的写入位置封装成待处理事务；

将所述聚合文件的标识、所述聚合文件的写入位置以及所述数据封装成数据项，并将所述数据项缓存到数据列表中；

将所述待处理事务封装成日志，将所述日志和所述数据列表封装成写入事项结构，将所述写入事项结构提交到日志队列中；

获取所述写入事项结构，将所述数据列表中的数据写入所述聚合文件，将所述日志写入日志系统。

在一种可能的实现方式中，所述方法还包括：

判断是否开启写入优化功能，如果是，触发执行所述获取当前数据库事务以及后续步骤。

在一种可能的实现方式中，所述是否开启写入优化功能通过界面操作设置。

在一种可能的实现方式中，所述是否开启写入优化功能通过命令行方式设置。

在一种可能的实现方式中，所述将所述操作类型、聚合文件的标识以及所述聚合文件的写入位置封装成待处理事务，包括：

判断是否存在可写入的聚合文件，如果是，将所述可写入的聚合文件确定为所述数据写入的聚合文件，如果否，申请新的聚合文件并确定为所述数据写入的聚合文件；

将所述操作类型、所述数据写入的聚合文件的标识以及所述聚合文件的写入位置封装成待处理事务。

一种实现数据写入的装置，所述装置包括：

获取单元，用于获取当前数据库事务，从所述当前数据库事务中解析得到操作类型以及数据；

第一封装单元，用于当所述操作类型为写入操作且所述数据的写入方式为写入聚合文件时，将所述操作类型、聚合文件的标识以及所述聚合文件的写入位置封装成待处理事务；

第二封装单元，用于将所述聚合文件的标识、所述聚合文件的写入位置以及所述数据封装成数据项，并将所述数据项缓存到数据列表中；