[发明专利]一种数据处理方法及装置

说明书

本申请公开了一种数据处理方法和装置，获取待处理数据，判断所述待处理数据的数据量是否大于预设阈值；如果所述待处理数据的数据量大于预设阈值，将所述待处理数据划分为多个数据段，且每个数据段中的数据量均不大于所述预设阈值；从所述多个数据段中选择至少一个样本数据，利用选择出的至少一个样本数据构建用于全局浏览的数据子集，所述数据子集中的数据量不大于所述预设阈值。这样，可以将海量的待处理数据划分为多个小的数据段，然后从多个数据段中选择多个样本数据组成数据子集，数据段和数据子集中的数据量均不大于预设阈值，可供现有的数据查看软件浏览和查看，从而通过浏览构建的数据子集即可实现海量数据的全局浏览。

技术领域

本申请涉及数据处理技术领域，特别是涉及一种数据处理方法及装置。

背景技术

在各种工程试验或仿真过程中，一般都会将试验或仿真数据保存下来，方便后期回放与查看。

对于某些试验或仿真场景，运行时间很长，需要保存记录的数据量很大，一般会达到GB级别。若将所有数据都记录在一个数据文件中，不对数据文件进行拆分，当数据量非常大时，该数据文件将会很大，甚至单个数据文件的大小将超出软件的查看极限，导致现有的数据查看软件都无法直接查看该数据文件中的数据，导致浏览失败。因此，现有技术在记录数据的过程中，一般都会将大的数据文件拆分为多个小的数据文件，对不同段的数据分别进行保存，减小数据文件的大小，便于软件回放与查看。

但是，现有技术中至少存在如下问题：当将大的数据文件拆分为多个小的数据文件时，只能查看当前选择的小的数据文件中的数据，无法对海量数据进行全局浏览，特别是拆分成的小的数据文件很多时，浏览将很不方便。

发明内容

有鉴于此，本申请提供一种数据处理方法及装置，以实现对海量数据的全局浏览。

为了实现上述目的，本申请实施例提供的技术方案如下：

一种数据处理方法，包括：

获取待处理数据，判断所述待处理数据的数据量是否大于预设阈值；

如果所述待处理数据的数据量大于预设阈值，将所述待处理数据划分为多个数据段，且每个数据段中的数据量均不大于所述预设阈值；

从所述多个数据段中选择至少一个样本数据，利用选择出的至少一个样本数据构建用于全局浏览的数据子集，所述数据子集中的数据量不大于所述预设阈值。

优选地，所述将所述待处理数据划分为多个数据段，包括：

获取所述待处理数据的第一索引信息；

根据所述第一索引信息把所述待处理数据划分为多个数据段，所述第一索引信息用于定位每个数据段中的数据。

优选地，所述从所述多个数据段中选择至少一个样本数据，包括：

依据预定的抽样间隔确定所述待处理数据中的至少一个样本数据，并依据所述第一索引信息确定每个样本数据所在的数据段；

从每个样本数据所在的数据段中选择所述样本数据，并记录每个样本数据与所在的数据段的对应关系。

优选地，其特征在于，还包括：

获取对所述数据子集中的样本数据的选择操作，确定所述选择操作所选择的样本数据；

依据每个样本数据与所在的数据段的对应关系，提取并显示所述选择操作所选择的样本数据对应的数据段中的数据。

优选地，还包括：

获取每个数据段的第二索引信息；

根据所述第二索引信息把每个数据段划分为多个子数据段，所述第二索引信息用于定位每个子数据段中的数据；