[发明专利]数据处理方法、装置、计算设备及计算机可读存储介质

说明书

本发明实施例涉及数据处理技术领域，公开了一种数据处理方法，该方法包括：接收分析处理请求，所述分析处理请求中包括筛选条件和分析需求信息；根据所述筛选条件，从基于动态斜率的存储模型中获取目标数据；所述基于动态斜率的存储模型包括以所述动态斜率为分界线的上方存储空间及下方存储空间；所述上方存储空间用于存储各个数据列在列级别下的高频访问数据，所述下方存储空间的每行存储空间用于存储多列组合的高频访问数据；根据分析需求信息及所述目标数据进行数据处理，得到分析处理结果。通过上述方式，本发明实施例实现了数据处理的效率。

技术领域

本发明实施例涉及数据处理技术领域，具体涉及一种数据处理方法、数据处理装置、计算设备及计算机可读存储介质。

背景技术

目前，针对海量数据进行复杂的多维在线分析查询处理，现有技术方案在底层存储层面通常会采用列式存储的方式替代传统关系型数据库基于行式的数据存储，然而本申请的发明人在实施本发明实施例的过程中发现：在这种场景下，需要读取大量的行，但多数据情况下仅需要很少的列数据，且通常单个查询需要极高的吞吐量。

发明内容

鉴于上述问题，本发明实施例提供了一种数据处理方法、数据处理装置、计算设备及计算机可读存储介质，用于解决现有技术中存在的数据处理效率低的技术问题。

根据本发明实施例的一个方面，提供了一种数据处理方法，所述方法包括：

接收分析处理请求；所述分析处理请求中包括筛选条件和分析需求信息；

根据所述筛选条件，从基于动态斜率的存储模型中获取目标数据；所述基于动态斜率的存储模型包括以所述动态斜率为分界线的上方存储空间及下方存储空间；所述上方存储空间用于存储各个数据列在列级别下的高频访问数据，所述下方存储空间的每行存储空间用于存储多列组合的高频访问数据；

根据所述分析需求信息及所述目标数据进行数据处理，得到分析处理结果。

在一种可选的方式中，所述接收分析处理请求之前，所述方法包括：获取原始数据；构建所述原始数据的数据量K倍存储空间的动态窗体空间，K大于1；在所述动态窗体空间内，以所述动态斜率为参照形成基准分界线；将所述原始数据中各个数据列在列级别下的高频访问数据存储在所述上方存储空间；将所述原始数据中的源数据在所述下方存储空间中按照斜率梯度存储在所述斜率分界线下方，形成源数据块；在所述下方存储空间中所述源数据块下方存储多列组合的高频访问数据。

在一种可选的方式中，所述根据所述分析处理请求，基于动态斜率的存储模型获取目标数据之后，所述方法还包括：更新所述存储模型中的高频访问数据；根据所述高频访问数据调整所述存储模型中数据位置，以调整所述存储模型的动态斜率。

在一种可选的方式中，所述方法还包括：根据分析处理行为趋势调整所述上方存储空间及下方存储空间的数据；根据调整后的所述上方存储空间及下方存储空间的数据，实时调整动态斜率。

在一种可选的方式中，所述根据所述筛选条件，从基于动态斜率的存储模型中获取目标数据，包括：对所述筛选条件进行解析，获取任务计算所需要的数据列信息、筛选范围及计算筛选条件；根据所述数据列信息从所述下方存储空间中按照梯度顺序定位到一个或多个具体行；依次获取对应具体行的行数据并与所述计算筛选条件做比对；若对应具体行的行数据符合所述计算筛选条件，则将目标行中的行数据确定为所述目标数据；所述目标行为符合所述计算筛选条件的行数据所对应的具体行。

在一种可选的方式中，所述依次获取对应具体行的行数据并与所述计算筛选条件做比对之后，还包括：若不符合所述计算筛选条件，则从所述上方存储空间中定位到对应的一个或多个目标列队列；并发地从所述目标列队列的队首开始依次获取数据；将获取的数据与所述计算筛选条件做比对；若获取的数据与所述计算筛选条件比对符合所述计算筛选条件，则继续比对所述目标列队列中的数据值直至满足所述筛选范围，得到所述目标数据。