[发明专利]一种数据处理的方法、系统、设备及可读存储介质

说明书

本申请公开了一种数据处理的方法，包括：根据输入的数据处理请求确定待处理数据名称及对应的处理操作；按照预设字段映射关系表确定待处理数据名称对应的ES字段名称；在ES数据库中查找ES字段名称对应的ES数据，并执行处理操作对ES数据进行处理。本申请解决了ES数据库存在的默认字段上限的问题，实现更加简单，而且本申请是在进行ES数据处理操作之前进行的待处理数据名称与ES字段名称的映射，不会降低ES检索性能，进而不会影响业务处理的响应速度，达到了在突破ES数据库限制的基础上提高ES数据库的数据处理效率的效果。本申请同时还提供了一种数据处理的系统、设备及可读存储介质，具有上述有益效果。

技术领域

本申请涉及数据处理领域，特别涉及一种数据处理的方法、系统、设备及可读存储介质。

背景技术

单一关系型数据库横纵表，检索能力差，对于大数据量的存储也有瓶颈。而nosql对事务的支持不够友好，因此一般使用ElasticSearch(简称ES)数据库进行数据存储和检索，ES是面向文档型数据库，一条数据在这里就是一个文档，用JSON作为文档序列化的格式，可动态的扩展文档中的字段，存储数据量大，检索性能也比较优秀。

但是ES数据库的弊端在于1000个默认字段的上限。现有的解决方案大致分为如下三种：

1)可以通过配置扩大文档字段的上限，但是此种方案会降低检索ElasticSearch的效率。

2)与业务方和用户沟通，将不常用字段删除，然而C端系统面相市场无法控制用户的使用。

3)设置多维度存储和计算(例如hive)，然而此种方案涉及代码重构，数据迁移等问题，改造成本大，而且数据处理效率较低。

因此，如何在突破ES数据库限制的基础上提高ES数据库的数据处理效率是本领域技术人员目前需要解决的技术问题。

发明内容

本申请的目的是提供一种数据处理的方法、系统、设备及可读存储介质，用于在突破ES数据库限制的基础上提高ES数据库的数据处理效率。

为解决上述技术问题，本申请提供一种数据处理的方法，该方法包括：

根据输入的数据处理请求确定待处理数据名称及对应的处理操作；

按照预设字段映射关系表确定所述待处理数据名称对应的ES字段名称；其中，所述ES字段名称与ES字段的对应关系为多对一；

在ES数据库中查找所述ES字段名称对应的ES数据，并执行所述处理操作对所述ES数据进行处理。

可选的，在按照预设字段映射关系表确定所述待处理数据名称对应的ES字段名称之前，还包括：

根据输入的数据存储请求确定待存储数据的ES字段类型；

判断所述预设字段映射关系表中是否存在所述ES字段类型对应的ES字段名称；

若存在，则依据预设命名规则创建所述ES字段类型对应的新ES字段名称，并将所述待存储数据存储至所述新ES字段名称中；

若不存在，则创建所述ES字段名称，并将所述待存储数据存储至所述ES字段名称中。

可选的，在创建所述ES字段类型对应的新ES字段名称之前，还包括：

判断所述ES字段类型对应的ES字段名称的数量是否超过第一阈值；

若超过，则禁止创建所述新ES字段名称，并输出所述ES字段类型对应的ES字段名称数量超过所述第一阈值的提示信息。

可选的，还包括：

依据所述待存储数据与所述ES字段名称或所述新ES字段名称的对应关系建立所述预设字段映射关系表。