[发明专利]一种支持全量更新的数据实时关联方法

说明书

本发明提供一种支持全量更新的数据实时关联方法，包括数据获取模块、数据管理模块、Redis内存数据库、数据关联模块，数据获取模块从外部文件或者外部数据库中获取需要同步的全量数据进行处理，然后将对应格式的数据传输给数据管理模块，数据管理模块对接收到的数据进行处理，把数据插入或更新到Redis内存数据库，Redis内存数据库存储各种关联数据，通过主从方式进行数据同步，数据关联模块接收数据关联的查询请求，然后从Redis内存数据库中查询出关联结果，进行类型转换后返回给数据关联的查询请求。在全量更新数据的情况下，本发明通过减少Redis内存数据库中数据更新的数量，大大的减少了Redis内存数据库进行主从同步时对网络及系统资源的占用，能够大幅度的提升使用Redis内存数据库进行数据关联的效率。

技术领域

本发明涉及大数据处理领域，尤其是涉及一种支持全量更新的数据实时关联方法。

背景技术

随着互联网技术的发展，大数据处理和云计算技术应用越来越广泛，很多业务应用需要对不同来源的数据进行关联融合，才能更好的挖掘数据价值。在DT时代，越来越多的应用场景对于数据的时效性提出了更高的要求，实时计算变得越来越重要。一条数据产生的时候，如果不能及时处理并在业务系统中使用，就不能让数据价值最大化。

Redis是一个开源的使用ANSI C语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库，并提供多种语言的API。Redis是一个具有良好的性能和复制性的内存数据库，在实时计算中被广泛的应用。在使用Redis作为缓存数据库缓存基础数据时，如果应用场景需要每次把基础数据进行全量更新，就会造成Redis性能的瞬时下降，尤其是采用主从模式的部署方案时问题更加突出。因此需要寻找一种方案来解决全量更新时Redis性能的瞬时下降的问题。

发明内容

本发明提供了一种支持全量更新的数据实时关联方法，用于解决上述支持全量更新的数据实时关联要求的设计，其技术方案如下所述：

一种支持全量更新的数据实时关联方法，包括数据获取模块、数据管理模块、Redis内存数据库、数据关联模块，包括下列步骤：

(1)数据获取模块从外部文件或者外部数据库中获取需要同步的全量数据进行处理，分解为Key-Type-Value的格式，其中，Key代表进行数据关联时的关键字，Type代表数据关联类型，Value是Key对应的数据值，类型包括字符串、列表、集合或者字典，然后将对应格式的数据传输给数据管理模块；

(2)数据管理模块对接收到的数据进行处理，把数据插入或更新到Redis内存数据库；

通过Map(一种Key-Value的映射表)和双向链表两种数据结构对数据进行管理，判断数据是否需要忽略、更新或删除；Map中记录了Key及对应的Value的CRC32值(32位的循环冗余校验码)，主要用来判断数据是否更新；双向链表中记录了Key及对应Value的更新时间，主要用来删除过期数据。

在接收数据获取模块传来的全量数据完毕通知后，对过期数据进行清理；

(3)Redis内存数据库存储各种关联数据，通过主从方式进行数据同步；

(4)数据关联模块接收数据关联的查询请求，然后从Redis内存数据库中查询出关联结果，进行类型转换后返回给数据关联的查询请求。

进一步的，所述数据获取模块包括两种全量数据获取方式：(1)实时监控指定的目录，如果发现有新的全量数据标识，则根据指定的规则去读取外部文件数据并处理；(2)监听数据全量更新的指令，如果接收到数据全量更新的指令，则从外部数据库中获取全量数据并处理。

进一步的，数据获取模块对全量数据进行处理的步骤包括：

1)设置LastUpdateTime的值为当前系统时间，LastUpdateTime表示的含义为全量数据的最近更新时间；