[发明专利]分布式索引服务引擎的数据更新方法、装置及存储介质有效
申请号: | 201710880735.1 | 申请日: | 2017-09-26 |
公开(公告)号: | CN110019259B | 公开(公告)日: | 2023-09-22 |
发明(设计)人: | 张涛 | 申请(专利权)人: | 亿阳信通股份有限公司 |
主分类号: | G06F16/23 | 分类号: | G06F16/23;G06F16/27 |
代理公司: | 北京卓岚智财知识产权代理有限公司 11624 | 代理人: | 任漱晨 |
地址: | 150090 黑龙江省哈*** | 国省代码: | 黑龙江;23 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 分布式 索引 服务 引擎 数据 更新 方法 装置 存储 介质 | ||
1.一种用于分布式索引服务引擎的数据更新方法,其特征在于,包括:
获取多条待更新数据;
确定与每条所述待更新数据相对应的插入数据;
基于所述待更新数据更新所述插入数据,得到更新的插入数据;
调用所述分布式索引服务引擎的批量插入接口,通过所述批量插入接口将基于所述待更新数据得到的所述更新的插入数据批量插入分布式索引服务引擎;
其中,确定与每条所述待更新数据相对应的插入数据包括:
获取所述待更新数据的特征信息;
从第一缓存中查询与所述待更新数据的特征信息相匹配的插入数据,其中,所述第一缓存中缓存有多条插入数据;并且
在获取多条待更新数据之后,所述方法还包括:将所述多条待更新数据存储入第二缓存;监测所述第二缓存中待更新数据的缓存时长;若所述待更新数据的缓存时长达到预定时长,从所述第二缓存中读取所述待更新数据;
获取所述待更新数据的特征信息包括:提取读取的所述待更新数据的特征信息;
在得到更新的插入数据之后,所述方法还包括:基于所述更新的插入数据更新所述第一缓存中缓存的插入数据。
2.根据权利要求1所述的数据更新方法,其特征在于,在获取所述待更新数据的特征信息之后,所述方法还包括:
若从所述第一缓存中未查询到与所述待更新数据的特征信息相匹配的插入数据,则通过数据更新接口,更新所述分布式索引服务引擎中与所述待更新数据对应的数据。
3.根据权利要求1所述的数据更新方法,其特征在于,基于所述待更新数据更新所述插入数据,得到更新的插入数据包括:
从第一缓存中提取所述插入数据的数据对象;
将所述数据对象中的属性值替换为所述待更新数据的属性值,得到更新的插入数据。
4.根据权利要求1所述的数据更新方法,其特征在于,获取多条待更新数据包括:
从数据接入模块接收待处理数据;
将所述待处理数据解析成预定格式的第二数据,其中,所述预定格式为所述分布式索引服务引擎所支持的格式;
按照数据类型拆分所述第二数据,得到拆分数据,其中,所述数据类型与数据待执行的操作相对应,所述待执行的操作包括更新操作和/或插入操作,所述拆分数据包括所述多条待更新数据。
5.根据权利要求4所述的数据更新方法,其特征在于,所述拆分数据还包括多条插入数据,其中,在得到拆分数据之后,所述方法还包括:
将所述多条插入数据批量插入所述分布式索引服务引擎和存入第一缓存。
6.一种用于分布式索引服务引擎的数据更新装置,其特征在于,包括:
获取单元,用于获取多条待更新数据;
确定单元,用于确定与每条所述待更新数据相对应的插入数据;
第一更新单元,用于基于所述待更新数据更新所述插入数据,得到更新的插入数据;
第一处理单元,用于调用所述分布式索引服务引擎的批量插入接口,通过所述批量插入接口将基于所述待更新数据得到的所述更新的插入数据批量插入分布式索引服务引擎;
其中,所述确定单元包括:
特征信息获取模块,用于获取所述待更新数据的特征信息;
查询模块,用于从第一缓存中查询与所述待更新数据的特征信息相匹配的插入数据,其中,所述第一缓存设置在所述数据更新装置的存储单元中,所述第一缓存中缓存有多条插入数据;并且
所述存储单元中还设置有第二缓存,所述第二缓存用于存储获取到的多条待更新数据;
所述装置还包括:
监测单元,用于监测所述第二缓存中待更新数据的缓存时长;
读取单元,用于若所述待更新数据的缓存时长达到预定时长,从所述第二缓存中读取所述待更新数据;
第二更新单元,用于在得到更新的插入数据之后,基于所述更新的插入数据更新所述第一缓存中缓存的插入数据。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于亿阳信通股份有限公司,未经亿阳信通股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201710880735.1/1.html,转载请声明来源钻瓜专利网。
- 上一篇:处理订单数据的方法和装置
- 下一篇:一种用户数据的更新方法及相关设备