[发明专利]一种数据处理方法和装置

摘要

本发明实施例公开了一种数据处理方法和装置，处理设备从被读取数据块队列中读取数据块；生成与所述数据块具有一一关联关系的确认对象，用于记录具有所述关联关系的数据块的确认状态；建立包括N个确认对象的确认队列，根据所述确认队列中确认对象的确认状态对被读取确认的数据块执行持久化操作，可见，处理设备根据所述确认队列中的确认对象的确认状态以及确认队列的排列顺序，将确认状态为未确认的、且较早被处理设备读取到的数据块的上一个已读取确认的数据块进行持久化操作，而不用对每一个已读取确认的数据块都进行持久化操作，在保证数据读取精度的情况下降低了持久化服务的处理压力。

主权项

1.一种数据处理方法，其特征在于，所述方法包括：处理设备从被读取数据块队列中读取数据块；所述处理设备生成与所述数据块具有一一关联关系的确认对象，所述确认对象用于记录具有所述关联关系的数据块的确认状态，若与所述确认对象具有所述关联关系的数据块未被读取确认，所述确认对象的确认状态为未确认；若与所述确认对象具有所述关联关系的数据块已被读取确认，所述确认对象的确认状态为已确认；所述处理设备建立包括N个确认对象的确认队列，所述N个确认对象在所述确认队列中的排列顺序与读取顺序相同，所述读取顺序为与所述N个确认对象具有所述关联关系的N个数据块从所述被读取数据块队列中被读取出的顺序，所述确认队列中位于队列头的确认对象为所述N个确认对象中最先生成的数据对象；若所述被读取数据块队列中的数据块被所述处理设备读取确认，所述处理设备将与被读取确认的数据块具有关联关系的确认对象的确认状态从未确认修改为已确认；所述处理设备根据所述确认队列中确认对象的确认状态对被读取确认的数据块执行持久化操作。