[发明专利]数据处理方法、装置、设备及存储介质

说明书

本申请属于大数据技术领域，具体涉及一种数据处理方法、装置、设备及存储介质，用以解决冷热分离的存储方案对缓存资源要求较高的问题。本申请中，通过响应于接收到来自客户端的数据查询语句，确定查询对象是否包含于白名单，在查询对象包含于白名单时，根据数据查询语句，生成目标查询键，确定是否已缓存目标查询键对应的目标查询结果，在已缓存目标查询结果时，从缓存获取目标查询结果，向客户端发送目标查询结果。本申请能够大大提高数据查询效率，节省缓存资源。

技术领域

本申请属于大数据技术领域，具体涉及一种数据处理方法、装置、设备及存储介质。

背景技术

在高基数维度的数据或大数据量的数据面向分析场景时，通常对数据库的响应时长要求比较宽松。但随着应用的不断增多，海量数据的查询效率成为了应用扩展的瓶颈，比如通过商业智能(Business Intelligence，BI)工具查询的表数据量大、查询维度多或查询的条件组合灵活时，查询效率比较低。

目前，通常通过对表数据进行冷热分离的存储方案来提高查询效率，即将访问频率高的表数据(即热数据)放到高性能存储组件或高性能磁盘中进行缓存，比如Redis混合存储。

上述冷热分离的存储方案虽能提高查询效率，但对缓存资源要求较高。

发明内容

为了解决现有技术中的上述问题，即为了解决冷热分离的存储方案对缓存资源要求较高的问题，本申请提供了一种数据处理方法、装置、设备及存储介质。

第一方面，本申请提供一种数据处理方法，包括：

响应于接收到来自客户端的数据查询语句，确定查询对象是否包含于白名单，白名单包含需缓存查询结果的对象的标识，数据查询语句包含查询对象的标识；

当查询对象包含于白名单时，根据数据查询语句，生成目标查询键；

确定是否已缓存目标查询键对应的目标查询结果；

当已缓存目标查询结果时，根据目标查询键从缓存获取目标查询结果；

向客户端发送目标查询结果。

在一种可能的实现方式中，根据数据查询语句，生成目标查询键，包括：将数据查询语句进行语法树拆解，获得至少一个查询信息，查询信息用于唯一标识目标查询键；将至少一个查询信息进行拼接处理，生成目标查询键。

在一种可能的实现方式中，确定是否已缓存目标查询键对应的目标查询结果，包括：获取有效缓存列表，有效缓存列表包含当前缓存的查询结果对应的查询键列表；当有效缓存列表包含目标查询键时，确定已缓存目标查询结果；或者，当有效缓存列表不包含目标查询键时，确定未缓存目标查询结果。

在一种可能的实现方式中，在未缓存目标查询结果时，该数据处理方法还包括：从数据库获取目标查询结果，并向客户端发送目标查询结果；将目标查询结果存储至缓存中；将目标查询键添加在有效缓存列表中。

在一种可能的实现方式中，将目标查询结果存储至缓存中，包括：确定目标查询结果的数据量小于数据量阈值；将目标查询结果存储至缓存中。

在一种可能的实现方式中，该数据处理方法还包括：记录目标查询键对应的查询记录，查询记录包括查询时间。

在一种可能的实现方式中，该数据处理方法还包括：根据以下至少一种信息，更新缓存中存储的查询结果：查询记录、缓存失效时间、白名单中对象的更新以及白名单中对象的表数据有更新。

在一种可能的实现方式中，该数据处理方法还包括：当查询对象不包含于白名单时，从数据库获得目标查询结果；向客户端发送目标查询结果。

第二方面，本申请提供一种数据处理装置，包括：