[发明专利]一种数据处理、存储的方法、装置及电子设备

说明书

本申请公开了一种数据处理、存储的方法、装置及电子设备，该数据处理方法包括：将数据存储于依赖栈中，依赖栈包含多层，存储在依赖栈第二层的数据执行时依赖于存储在依赖栈第一层的数据的执行结果，相同数据在依赖栈中存储一次；从依赖栈的第一层并行读取顶层存储的目标数据，并根据从依赖栈中在前读取数据的执行结果，对其执行处理操作并存储执行结果；在第一层数据被读取后，删除依赖栈原第一层的数据，依赖栈原第一层的下一层更新为依赖栈的第一层。通过上述方案，解决了现有技术中具有依赖关系的数据读取耗时过多的技术问题，减少数据读取的时间。

技术领域

本申请涉及软件技术领域，特别涉及一种数据处理、存储的方法、装置及电子设备。

背景技术

随着科学技术的不断发展，电子设备的数据处理能力得到了飞速的发展，能够很好的并行处理大量数据。为了提高电子设备的处理速度，在提高电子设备的运算速度同时，还需要提高电子设备读取数据的速度，现如今大多采用并发读取数据的方式来提高数据读取速度。

针对并发获取不同数据源的数据情景中，常常存在某些数据源之间存在先后依赖关系的情况(即存在先后执行顺序)，而且可能存在重复依赖的情况。针对这种情况，现有技术通过独立的串行方式解决各个数据源依赖关系，即获取需要的每个数据源数据时只关心自己的上游依赖，通过串行的方式解决各个数据源依赖关系，但有些数据源具有相同的依赖关系，不关心其他数据源是否存在相同的依赖，会导致相同的依赖重复调用，使调用次数增加，导致整个数据读取过程的耗时过多。

可见，现有技术中对具有依赖关系的数据进行读取时存在耗时过多的技术问题。

发明内容

本申请实施例提供一种数据处理、存储的方法、装置及电子设备，用于解决现有技术中对具有依赖关系的数据进行读取时耗时过多的技术问题，减少数据读取的时间。

本申请实施例提供一种数据的处理方法，所述方法包括：

将数据存储于依赖栈中，所述依赖栈包含N层，N大于等于2，存储在依赖栈第二层的数据执行时依赖于存储在依赖栈第一层的数据的执行结果，相同数据在所述依赖栈中存储一次；

从所述依赖栈的所述第一层并行读取所述第一层存储的目标数据；

根据从所述依赖栈中在前读取数据的执行结果，对当前读取到的所述目标数据执行处理操作并存储执行结果；

在所述依赖栈的所述目标数据被读取后，删除依赖栈原第一层的数据，所述依赖栈原第一层的下一层更新为所述依赖栈的第一层。

可选的，所述根据从所述依赖栈中在前读取数据的执行结果，对当前读取到的所述目标数据执行处理操作并存储执行结果，包括：

从所述依赖栈中在前读取数据中，获取当前读取到的所述目标数据所依赖的参考数据的参考执行结果；

根据所述参考执行结果，对当前读取到的各个数据执行处理操作并存储执行结果。

可选的，所述将数据存储于依赖栈中，包括：

获得数据之间的依赖关系，所述依赖关系表征一数据的执行依赖于另一数据的执行结果；

获得由存在所述依赖关系的数据连接构成的依赖链；

若所述依赖链的条数大于等于2，根据所述依赖关系和所述数据建立依赖栈并存储。

可选的，所述根据所述依赖关系和所述数据建立依赖栈并存储，包括：

获得所述依赖链中依赖层级最多的第一依赖链，并以所述第一依赖链的层级数作为所述依赖栈的层数；

以所述第一依赖链中数据为参考，确定各依赖链中的所述数据在所述依赖栈中的存储层位置；

根据所述存储层位置，对所有的数据进行分层存储。