[发明专利]一种基于分布式双向链表的数据处理方法

权利要求书

1.一种基于分布式双向链表的数据处理方法，其特征在于，包括如下步骤：

步骤1，数据准备；

步骤2，数据存储；

步骤3，数据应用。

2.根据权利要求1所述的方法，其特征在于，步骤1包括：根据指定规则生成所需要的数据，并存入到链表集合中。

3.根据权利要求2所述的方法，其特征在于，步骤1中，所述指定规则，是指将数据封装成面向对象的数据模型。

4.根据权利要求3所述的方法，其特征在于，步骤2包括：将所述链表集合存储到数据库中，分为磁盘数据库存储和内存数据库存储；

将所述链表集合以X为步长切割成两个以上数据集合然后组成集合组，再遍历所述集合组，将所述集合组中的数据集合分别存储到磁盘数据库与内存数据库；

所述磁盘数据库存储，是指将所述集合组中的数据集合循环执行批量存储接口存储到磁盘数据库中，从而将所述链表集合数据持久化到磁盘中。

5.根据权利要求4所述的方法，其特征在于，步骤2中，所述内存数据库指Redis缓存数据库，将所述链表集合存入到Redis缓存数据库中，使用Pipeline管道技术将所述集合组中的数据集合作为参数对象，通过插入命令存储到Redis缓存数据库的双向链表数据结构，具体操作为通过Pipeline管道技术将所述集合组中数据集合的操作指令进行打包并一次性批量推送到Redis缓存数据库中，无需等待Redis缓存数据库响应状态即一次性发送两条以上操作指令，并最终一次性读取Redis缓存数据库中所述操作指令的全部响应状态。

6.根据权利要求5所述的方法，其特征在于，步骤3包括：使用LPOP获取命令依次从Redis缓存数据库的双向链表数据结构中获取单条数据A，获取成功即在Redis缓存数据库的双向链表数据结构中移除所述单条数据A，获取到的数据A此时是字符串模型数据，将字符串模型数据A通过反序列化生成面向对象数据模型的数据A'，将所述数据A'作为消息发送到消息队列中，消息队列的消费者监听到消息后异步处理所述数据A'，并把所述数据A'更新到磁盘数据库中，直到Redis缓存数据的双向链表被获取完。