[发明专利]一种数据处理方法及装置

说明书

本申请公开了一种数据处理方法及装置。其中数据处理方法包括获取第一缓冲区的信息；根据所述第一缓冲区的信息以及缓冲区与缓存数据块之间的映射关系，获取所述第一缓冲区对应的第一缓存数据块；将所述第一缓存数据块的写状态置位，以禁止针对所述第一缓存数据块的读取操作；获得所述第一缓存数据块的版本号；判断所述获得的所述第一缓存数据块的版本号与所述第一缓存数据块的当前的版本号是否相同；若是，则将待写入的数据写入所述第一缓存数据块，将所述第一缓存数据块的写状态清除，以允许针对所述第一缓存数据块的读取操作。采用本申请提供的数据处理方法，解决了单生产者多消费者缓存数据读写的并发问题。

技术领域

本申请涉及数据处理领域，具体涉及一种缓存数据的写入、读取方法及装置。

背景技术

在分布式系统中，多线程协作完成任务，典型的场景是一个线程(生产者线程)生产数据，多个线程(消费者线程)消费数据。通常使用一个缓存来存放这些数据，多线程间的交互就在这个缓存上进行。

在上述场景中，一个生产者线程将一些数据写入内存的缓冲区中，多个消费者线程将一些数据从缓冲区中读出，并各自重复此过程。在对所述缓冲区的读写过程中，需要保证消费者不会从缓冲区中取出不一致的数据。

一种经典的解决方案是使用互斥锁。Cache中有一个读写锁(RwLock)用于同步。生产者写入数据时，先获取写锁；消费者读取数据时，先获取读锁。获取不到锁时，线程会休眠，直到被唤醒。

这种方法，实现比较简单直观。但由于读写锁互斥，造成线程切换开销，影响了并发度，在对性能要求比较高的系统中，容易成为瓶颈。读写锁还有读者优先、写者优先的问题，也会影响读者、写者处理的优先顺序。

发明内容

本申请提供一种数据处理方法及装置，以解决单生产者多消费者缓存数据读写过程中的并发问题。

本申请提供的数据处理方法，包括：

获取第一缓冲区的信息；

根据所述第一缓冲区的信息以及缓冲区与缓存数据块之间的映射关系，获取所述第一缓冲区对应的第一缓存数据块；

将所述第一缓存数据块的写状态置位，以禁止针对所述第一缓存数据块的读取操作；

获得所述第一缓存数据块的版本号；

判断所述获得的所述第一缓存数据块的版本号与所述第一缓存数据块的当前的版本号是否相同；

若是，则将待写入的数据写入所述第一缓存数据块，将所述第一缓存数据块的写状态清除，以允许针对所述第一缓存数据块的读取操作。

可选的，若判断获得的所述第一缓存数据块的块版本号与所述第一缓存数据块的当前的版本号不相同，则确定写操作失败。

可选的，所述第一缓存数据块的写状态以及所述第一缓存数据块的版本号设置于所述第一缓存数据块的数据块头中。

可选的，所述第一缓存数据块的数据块头还包括块编号和/或读状态。

可选的，所述缓冲区与缓存数据块之间的映射关系，包括：

编号为x的缓冲区与编号为y的缓存数据块的映射关系为y＝x(n-1)，其中，n为缓存数据块的数量。

可选的，还包括：

在所述判断之前，针对所述第一缓存数据块对应的缓存的全局版本号执行递增操作；

更新所述第一缓存数据块的块版本号和块编号。

可选的，还包括：

获取第一缓冲区的信息；