[发明专利]分布式索引服务引擎的数据更新方法、装置及存储介质

说明书

本申请提供了一种用于分布式索引服务引擎的数据更新方法、装置及存储介质。其中，该方法包括：获取多条待更新数据；确定与每条所述待更新数据相对应的插入数据；基于所述待更新数据更新所述插入数据，得到更新的插入数据；调用所述分布式索引服务引擎的批量插入接口，通过所述批量插入接口将基于所述待更新数据得到的所述更新的插入数据批量插入分布式索引服务引擎。本申请通过上述手段批量更新ES中数据，解决了现有技术中ES更新操作处理效率低、系统负荷高的问题，提高了更新效率、降低了系统负荷。

技术领域

本申请涉及数据处理技术领域，特别地，涉及一种用于分布式索引服务引擎的数据更新方法、装置及存储介质。

背景技术

数据处理系统对于ES的操作都集中在插入和查询操作上，这也是操作大数据的通用操作模式。因此很多大数据中间件产品，对于插入和查询支持比较好。而ES除了支持插入和查询操作外，还提供了更新操作的方法。然而，目前ES支持的更新操作虽然可以解决大数据的更新问题，但其操作方式会降低ES的处理性能。

具体地，现有的更新操作是针对一条需要更新的数据，单次进行提交更新。在实际业务场景中，在一个很短的时间短内往往需要对大量的数据进行更新，采用逐一提交更新的方式，将占用大量的I/O资源(输入/输出资源)，大量的I/O请求会堵塞在数据处理系统与ES的交互上，影响数据处理系统的整体处理性能。

综上，现有技术中ES提供的数据更新方法，采用单次单条提交的方法，处理效率低下，系统响应慢；大数据量请求更新时，占用系统I/O资源和网络带宽，系统耗时在等待ES处理更新数据的过程中，阻塞其它进程工作，系统负荷变高。

针对上述问题，目前尚未提出有效的解决方案。

发明内容

本申请提供一种数据更新方法和装置，用于解决现有技术ES更新操作处理效率低、系统负荷高的问题。

为了实现上述目的，本申请实施例公开了一种用于分布式索引服务引擎的数据更新方法，该方法包括：获取多条待更新数据；确定与每条上述待更新数据相对应的插入数据；基于上述待更新数据更新上述插入数据，得到更新的插入数据；调用上述分布式索引服务引擎的批量插入接口，通过上述批量插入接口将基于上述待更新数据得到的上述更新的插入数据批量插入分布式索引服务引擎。

进一步地，确定与每条上述待更新数据相对应的插入数据包括：获取上述待更新数据的特征信息；从第一缓存中查询与上述待更新数据的特征信息相匹配的插入数据，其中，上述第一缓存中缓存有多条插入数据。

进一步地，在获取多条待更新数据之后，上述方法还包括：将上述多条待更新数据存储入第二缓存；监测上述第二缓存中待更新数据的缓存时长；若上述待更新数据的缓存时长达到预定时长，从上述第二缓存中读取上述待更新数据；获取上述待更新数据的特征信息包括：提取读取的上述待更新数据的特征信息；在得到更新的插入数据之后，上述方法还包括：基于上述更新的插入数据更新上述第一缓存中缓存的插入数据。

进一步地，在获取上述待更新数据的特征信息之后，上述方法还包括：若从上述第一缓存中未查询到与上述待更新数据的特征信息相匹配的插入数据，则通过数据更新接口，更新上述分布式索引服务引擎中与上述待更新数据对应的数据。

进一步地，基于上述待更新数据更新上述插入数据，得到更新的插入数据包括：从上述第一缓存中提取上述插入数据的数据对象；将上述数据对象中的属性值替换为上述待更新数据的属性值，得到更新的插入数据。

进一步地，获取多条待更新数据包括：从数据接入模块接收待处理数据；将上述待处理数据解析成预定格式的第二数据，其中，上述预定格式为上述分布式索引服务引擎所支持的格式；按照数据类型拆分上述第二数据，得到拆分数据，其中，上述数据类型与数据待执行的操作相对应，上述待执行的操作包括更新操作和/或插入操作，上述拆分数据包括上述多条待更新数据。