[发明专利]搜索应用数据处理方法、装置、计算机设备和存储介质

说明书

本申请涉及数据检索技术领域，特别涉及一种搜索应用数据处理方法、装置、计算机设备和存储介质。所述方法包括：对数据库日志进行监控，当监测到新增数据流插入至数据库日志时，从新增数据流中读取数据表标识信息和数据操作类型；查找数据表标识信息对应的元数据结构，获取元数据结构的第一应用标识，并从元数据结构中提取表层级信息；当数据操作类型为数据插入操作时，根据元数据结构对新增数据流的数据字段进行处理生成应用元字段；根据表层级信息从搜索存储引擎中查找与第一应用标识对应的应用表，将应用元字段添加至应用表中。采用本方法能够提高提高数据查询性能。

技术领域

本申请涉及计算机技术领域，特别是涉及一种搜索应用数据处理方法、装置、计算机设备和存储介质。

背景技术

互联网公司产品更新较快，产品的各个业务方在产品的业务处理过程中，每日均会产出大量的产品业务数据，因此，大部分产品都需要查询数据库或者其他数据检索功能的支持。

现有的数据搜索引擎大多基于关系型数据库，而关系型数据库中存储了各种业务的高数量级的数据，然而互联网公司业务需求变化大，不同的业务方具有不同的数据查询需求，在许多业务场景下均需要使用多张数据表的数据关联查询来完成需求。但是，在进行关联查询时，由于数据库中的数据表非常多，数据表之间的关联关系也是异常复杂，导致关联查询的性能较低，给数据库带来较大的查询压力。

发明内容

基于此，有必要针对上述技术问题，提供一种能够提高数据查询性能且能减少数据查询压力的搜索应用数据处理方法、装置、计算机设备和存储介质。

一种搜索应用数据处理方法，所述方法包括：

对数据库日志进行监控，当监测到新增数据流插入至所述数据库日志时，从所述新增数据流中读取数据表标识信息和数据操作类型；

查找所述数据表标识信息对应的元数据结构，获取所述元数据结构的第一应用标识，并从所述元数据结构中提取表层级信息；

当所述数据操作类型为数据插入操作时，根据所述元数据结构对所述新增数据流的数据字段进行处理生成应用元字段；

根据所述表层级信息从搜索存储引擎中查找与所述第一应用标识对应的应用表，将所述应用元字段添加至所述应用表中。

在其中一个实施例中，所述根据所述表层级信息从搜索存储引擎中查找与所述第一应用标识对应的应用表，将所述应用元字段添加至所述应用表中，包括：

从所述表层级信息中提取与所述数据表标识信息对应的表层级类型，根据所述表层级类型判断所述新增数据流是否属于基础引用数据；

当所述新增数据流属于基础引用数据时，从搜索存储引擎中查找与所述第一应用标识对应的应用引用表，将所述应用元字段添加至所述应用引用表中。

在其中一个实施例中，所述根据所述表层级信息从搜索存储引擎中查找与所述第一应用标识对应的应用表，将所述应用元字段添加至所述应用表中，包括，包括：

从所述表层级信息中提取与所述数据表标识信息对应的表层级类型，根据所述表层级类型判断所述新增数据流是否属于基础引用数据；

当所述新增数据流不属于基础引用数据时，从搜索存储引擎中查找与所述第一应用标识及所述表层级类型对应的应用表，从所述应用表中查找与所述新增数据流对应的应用记录；

将所述应用元字段与所述应用记录进行拼接生成应用搜索记录，将所述应用搜索记录添加至所述搜索存储引擎中。

在其中一个实施例中，方法还包括：

当所述数据操作类型为数据更改操作时，从所述新增数据流中提取更改数据；