[发明专利]一种海量数据下可靠索引更新系统及方法

摘要

本发明涉及一种海量数据下可靠索引更新系统，包括日志预写模块、日志数据库、断点控制模块、断点设置模块、资源缓存模块和内存索引存储区；本发明还涉及一种海量数据下可靠索引更新方法；本发明针对索引构建速度和资源数据更新速度不匹配以及宕机时内存索引易丢失的情况，加入了日志预写、断点设置的机制解决了以上问题，保证了索引更新的可靠性；其次，针对物联网实体资源数据动态变化速度快的特点，在传统的实时索引更新方法中的内存索引更新操作之前加入了资源缓存的机制，在10000个资源的属性重复更新100次的情况下将索引更新速度提升了10倍以上。

主权项

1.一种海量数据下可靠索引更新系统，其特征在于，包括日志预写模块(1)、日志数据库(2)、断点控制模块(3)、断点设置模块(4)、资源缓存模块(5)和内存索引存储区(6)；所述日志预写模块(1)，用于实时接收从物联网实体资源数据中心(7)推送来的资源更新信息，并将资源更新信息以“资源ID+属性参数”的格式写入日志数据库中；所述日志数据库(2)，用于保存各条“资源ID+属性参数”的资源更新记录；所述断点控制模块(3)，用于根据所述日志数据库(2)中保存的资源更新记录的增长情况判断是否达到阈值，如果达到阈值，将断点信号发送至所述断点设置模块(4)后，再发送更新信号至所述资源缓存模块(5)进行处理；所述断点设置模块(4)，用于记录各组资源更新记录的断点信息，当接收到所述断点信号后，以本组资源更新记录中更新的最后一条资源更新记录作为断点来建立断点信息，并将断点信息写入断点记录表中；所述资源缓存模块(5)，用于当接收到更新信号后，在建立的更新记录缓存区或所述内存索引存储区(6)中逐一对本组的资源更新记录的内容进行更新处理；所述资源缓存模块(5)包括表单创建单元(501)和记录处理单元(502)和更新记录缓存区(503)；所述表单创建单元(501)，用于从所述日志数据库(2)中获取本组“资源ID+属性参数”的资源更新记录，并根据属性参数获取对应的属性内容，并建立<资源ID+属性内容>信息的表单；所述记录处理单元(502)，用于逐一判断表单中的资源ID是否已存在于所述更新记录缓存区(503)中，如果存在，则调出原属性内容将其更新为表单中该资源ID对应的属性内容，否则，在所述内存索引存储区(6)中查找，如果存在，则调出原属性内容将其更新为表单中该资源ID对应的属性内容，如果均不存在于两者中，则将该条资源更新记录的资源ID和属性内容保存至所述更新记录缓存区(503)中；所述更新记录缓存区(503)，用于存储资源ID和属性内容，并将经过处理后的属性内容进行存储；所述内存索引存储区(6)，用于当资源缓存模块(5)处理完成后，将在更新记录缓存区处理的资源更新记录的内容导入，并根据经过更新处理后的资源更新记录的内容对内存索引文件进行更新。