[发明专利]一种数据处理方法、装置、设备、存储介质及产品

说明书

本申请公开了一种数据处理方法、装置、设备、存储介质及产品，在获取包括多个筛选项的第一筛选请求后，在维度集合中匹配第一筛选请求，生成针对多个筛选项的条件组合参数，将条件组合参数传递给数据库。该条件组合参数是根据多个筛选项对应的字段得到的，且数据库中每条数据包括根据字段值生成的参数字段，故从数据库中可以调取针对条件参数组合的筛选结果。由此，先从数据量较少的维度集合中查询出来所需要的条件组合参数，然后将条件组合参数传参到数据库中，数据库中只查询和条件组合参数相关的数据，这样数据库在查询时，是不会扫描整个数据库的，减少了数据量的查询，会大大提高数据查询的效率。

技术领域

本发明涉及数据处理技术领域，尤其是涉及一种数据处理方法、装置、设备、存储介质及产品。

背景技术

在日常工作中经常会使用数据分析，它极大的帮助了我们看数据对比、细分数据等方面，通过数据分析可以提取有用信息和形成结论，通过对数据加以详细研究和概括总结可以用于做出较为正确的决策。

Tableau是一款数据分析与可视化工具，用户可以根据自己的需求通过Tableau来对数据进行有条件的筛选，从而得到数据分析结果。但是在数据量比较大的时候，筛选过程中速度会比较慢，数据的加载时间会很长，用户体验较差。

发明内容

针对上述问题，本申请提供一种数据处理方法、装置、设备、存储介质及产品，用于缩短筛选过程的时间，提高筛选效率，提高用户体验。

基于此，本申请实施例公开了如下技术方案：

一方面，本申请实施例提供一种数据处理方法，所述方法包括：

获取包括多个筛选项的第一筛选请求；

在维度集合中匹配所述第一筛选请求，生成针对于所述多个筛选项的条件组合参数；其中，所述数据库中每条数据包括参数字段，所述参数字段是根据所述字段值生成的；

将所述条件组合参数传递给所述数据库，以便根据所述参数字段从所述数据库调取针对所述条件组合参数的筛选结果。

可选的，所述维度集合根据数据库的字段和字段值的类型生成的。

可选的，所述筛选结果为物化视图，所述方法还包括：

获取包括至少一个筛选项的第二筛选请求；

根据所述第二筛选请求，从所述筛选结果中调取筛选结果。

可选的，所述方法还包括：

获取所述数据库中多个字段分别对应的历史使用次数；

若目标字段的历史使用次数超过次数阈值，将所述目标字段及所述目标字段包括的字段值添加至所述维度集合中，所述目标字段为所述多个字段中的一个。

可选的，所述维度集合是根据n个字段及所述n个字段的字段值的类型生成的，所述数据库中每条数据包括根据所述n个字段的字段值生成的参数字段，所述条件组合参数包括的多个字段的先后顺序与所述参数字段中多个字段的先后顺序一致。

可选的，所述Tableau与所述维度集合实时连接或所述Tableau将所述维度集合导入所述Tableau本地中；

所述Tableau与所述数据库实时连接。

可选的，所述方法还包括：

若所述数据库对目标数据进行增加、删除、修改中一种或多种处理；

所述Tableau基于所述目标数据对所述维度集合进行增加、删除、修改中一种或多种处理。

另一方面，本申请实施例提供一种数据处理装置，所述装置包括：获取单元、生成单元和调取单元；