[发明专利]一种基于分布式双向链表的数据处理方法

说明书

本发明公开了一种基于分布式双向链表的数据处理方法，包括如下步骤：步骤1，数据准备；步骤2，数据存储；步骤3，数据应用。数据准备流程是负责快速生成数据，根据指定规则生成所需要的数据并存入链表集合中。存储流程主要将所述链表集合存储到数据库中，分为磁盘数据库存储和内存数据库存储。数据应用流程是指将使用LPOP获取命令依次从双向链表结构中获取并移除字符串模型数据，通过反序列化成面向对象数据模型的数据，将这些数据发送到消息队列中，消息对象的消费者异步处理这些数据并更新到磁盘数据库中，直到双向链表数据被获取完。

技术领域

本发明属于互联网信息技术领域，尤其涉及一种基于分布式双向链表的数据处理方法。

背景技术

每个数据结点中都有两个指针，分别指向直接后继和直接前驱的一种链表，并且从任意一个结点开始，都可以很方便地访问它的前驱结点和后继结点，就是双向链表。

数据处理贯穿于社会生产和社会生活的各个领域，数据处理技术的发展及其应用的广度和深度，极大地影响了人类社会发展的进程。数据处理包括数据存储与数据获取。数据处理过程中使用到数据库，用于存储数据的一类库存就是数据库。传统的数据库即磁盘数据库，使用磁盘进行存储，并且从磁盘上读取数据，执行过程中产生大量的磁盘与网络I/O(输入/输出)消耗。

磁盘数据库存在如下不足：

(1)需要频繁地访问磁盘来进行数据的操作，由于对磁盘读写数据的操作一方面要进行磁头的机械移动，另一方面受到系统调用(通常通过CPU中断完成，受到CPU时钟周期的制约)时间的影响，当数据量很大，操作频繁且复杂时，时间较长，效率较低；

(2)可扩展性比较差，无法较好的支持海量数据存储，传统爬虫只单机采集数据，采集速度慢；

(3)数据模型过于死板，事务机制还会影响系统的整体性能，无法较好支持互联网复杂场景。

发明内容

发明目的：本发明所要解决的技术问题是高效处理数据，以分布式双向链表存储数据，提供一套高效数据处理方法。本发明具体提供了一种基于分布式双向链表的数据处理方法，包括如下步骤：

步骤1，数据准备；

步骤2，数据存储；

步骤3，数据应用。

步骤1包括：根据指定规则生成所需要的数据，并存入到链表集合中。

步骤1中，所述指定规则，是指将数据封装成面向对象的数据模型。这里以电商优惠券促销为例，如需要生成10万张满100减50的全场通用券，用户可在指定时间领取。根据指定规则创建优惠券数据模型，包括券唯一编号、券面额、券使用阈值，使用while循环生成10万个对象存入到链表集合中。

步骤2包括：将所述链表集合存储到数据库中，分为磁盘数据库存储和内存数据库存储；

将所述链表集合以X为步长切割成两个以上数据集合然后组成集合组，再遍历所述集合组，将所述集合组中的数据集合分别存储到磁盘数据库与内存数据库；如

所述磁盘数据库存储，是指将所述集合组中的数据集合循环执行批量存储接口存储到磁盘数据库中，从而将所述链表集合数据持久化到磁盘中；