[发明专利]数据的处理方法及装置

说明书

本发明实施例公开了一种数据的处理方法及装置，方法包括：按照预定方式分割待导出数据，以得到分割后的多个数据块；按照分割的时间顺序依次为各个数据块设置对应的预定标识，以生成多个具有预定标识的数据块。本发明实施例在处理待导出数据时，可以按照预定方式分割待导出数据，根据不同的预定方式分割，可以避免一条完整数据被分割到不同数据块中，且为每个分割后的数据块都设置了对应的预定标识，增加了预定标识的数据块如果存在问题，可以通过该预定标识快速查找到与其相关的其它数据块，即使一条完整的数据被分割，也无需通过复杂的算法进行查找，节约计算资源，提高查询效率。

技术领域

本发明涉及数据处理领域，特别涉及一种数据的处理方法及装置。

背景技术

随着信息化建设和IT技术的快速发展，网络技术的应用更加广泛深入，但在得益于网络加快业务处理的同时，也出现许多网络安全问题，如窃取用户信息、传播计算机病毒、篡改数据信息等，这些网络安全问题都会给系统带来不可估量的损失。由此可见网络安全技术的重要性更加突出，网络安全是保障网络空间发展的前提与基础。

网络安全设备运行过程中记录的数据是进行安全分析的重要数据来源。实际应用过程中，想要进一步分析网络中的攻击行为隐藏的特征、规律等，需要将海量数据导出后借助外部安全分析工具分析数据。为了提高海量数据导出效率，通常在导出海量数据前，先将海量数据分割为小数据块，然后再将所有小数据块导出到计算机。

然而，将安全设备中存储的海量原始数据按照固定大小直接分割数据，一条完整的数据被分割到不同的数据块，在数据导出后，如果某个数据块的数据存在问题，则查找到该数据块的相关数据需要消耗大量计算资源，且耗时较长，用户体验较差。

发明内容

有鉴于此，本发明实施例提出了一种数据的处理方法及装置，用以解决现有技术的如下问题：将安全设备中存储的海量原始数据按照固定大小直接分割数据，一条完整的数据被分割到不同的数据块，查找到该数据块的相关数据需要消耗大量计算资源，且耗时较长，用户体验较差。

一方面，本发明实施例提出了一种数据的处理方法，包括：按照预定方式分割待导出数据，以得到分割后的多个数据块；按照分割的时间顺序依次为各个数据块设置对应的预定标识，以生成多个具有预定标识的数据块。

在一些实施例中，按照预定方式分割待导出数据，以得到分割后的多个数据块，包括：检测当前分割次数是否达到预设分割次数，或者，检测当前分割后得到的数据块数量是否达到预设数量，其中，所述预设分割次数或所述预设数量通过所述预定方式和所述待导出数据的数据大小确定；在未达到所述预设分割次数或所述预设数量的情况下，继续按照预定方式分割所述待导出数据，直至所述待导出数据被完全分割。

在一些实施例中，生成多个具有预定标识的数据块之后，还包括：分别对各个所述具有预定标识的数据块进行压缩处理，以得到待导出的压缩数据包。

在一些实施例中，按照预定方式分割所述待导出数据，包括：在所述待导出数据中依次获取具有固定时长的数据，和/或，在所述待导出数据中依次获取具有固定数据大小的数据。

在一些实施例中，所述预定标识至少包括以下之一：根据数据块记录的起止时间生成的时间标识；根据数据块的起止ID生成的元素ID标识；根据数据块内容顺序生成的序列号标识。

另一方面，本发明实施例提出了一种数据的处理装置，包括：分割模块，用于按照预定方式分割待导出数据，以得到分割后的多个数据块；标识模块，用于按照分割的时间顺序依次为各个数据块设置对应的预定标识，以生成多个具有预定标识的数据块。