[发明专利]一种支持全量更新的数据实时关联方法

摘要

本发明提供一种支持全量更新的数据实时关联方法，包括数据获取模块、数据管理模块、Redis内存数据库、数据关联模块，数据获取模块从外部文件或者外部数据库中获取需要同步的全量数据进行处理，然后将对应格式的数据传输给数据管理模块，数据管理模块对接收到的数据进行处理，把数据插入或更新到Redis内存数据库，Redis内存数据库存储各种关联数据，通过主从方式进行数据同步，数据关联模块接收数据关联的查询请求，然后从Redis内存数据库中查询出关联结果，进行类型转换后返回给数据关联的查询请求。在全量更新数据的情况下，本发明通过减少Redis内存数据库中数据更新的数量，大大的减少了Redis内存数据库进行主从同步时对网络及系统资源的占用，能够大幅度的提升使用Redis内存数据库进行数据关联的效率。

主权项

1.一种支持全量更新的数据实时关联方法，包括数据获取模块、数据管理模块、Redis内存数据库、数据关联模块，包括下列步骤：(1)数据获取模块从外部文件或者外部数据库中获取需要同步的全量数据进行处理，分解为Key‑Type‑Value的格式，其中，Key代表进行数据关联时的关键字，Type代表数据关联类型，Value是Key对应的数据值，类型包括字符串、列表、集合或者字典，然后将对应格式的数据传输给数据管理模块；(2)数据管理模块对接收到的数据进行处理，把数据插入或更新到Redis内存数据库；通过Map和双向链表两种数据结构对数据进行管理，判断数据是否需要忽略、更新或删除；Map中记录了Key及对应的Value的CRC32值，用来判断数据是否更新；双向链表中记录了Key及对应Value的更新时间，用来删除过期数据；在接收数据获取模块传来的全量数据完毕通知后，对过期数据进行清理；(3)Redis内存数据库存储各种关联数据，通过主从方式进行数据同步；(4)数据关联模块接收数据关联的查询请求，然后从Redis内存数据库中查询出关联结果，进行类型转换后返回给数据关联的查询请求。