[发明专利]多数据打包方法、装置、电子设备及计算机可读存储介质

说明书

本发明涉及数据采集技术，揭露了一种多数据打包方法，包括：提取并解析获取的数据打包请其中的目标数据字段，得到多个数据信息字段和其对应的ip字段；将多个数据信息字段序列化为数据信息列表；利用多线程并行方式ip字段获取多个待打包数据；将多个待打包数据与数据信息列表进行完整性对比，若完整性对比的结果为不完整，利用定时任务根据重新获取多个待打包数据；若完整性对比的结果为完整，对多个待打包数据进行数据打包，得到数据包。此外，本发明还涉及区块链技术，所述多个待打包数据可存储于区块链的节点。本发明还提出一种多数据打包装置、电子设备以及计算机可读存储介质。本发明可以解决多数据打包时的效率及完整度不高的问题。

技术领域

本发明涉及数据采集技术领域，尤其涉及一种多数据打包方法、装置、电子设备及计算机可读存储介质。

背景技术

随着大数据时代的发展，网络中存在着各种各样的数据，人们常常需要在网络中选择并下载到自己需要的数据，并在下载完成后，将多个数据打包成一份数据包，以实现对数据的一次性获取。

目前对多数据进行打包的方式多为：利用数据采集模板按顺序对多份数据进行采集，将采集后的数据发送至预设的数据打包平台进行数据打包，但由于很多场景下人们需要的数据的数据量十分庞大，存储于网络中不同的存储区域中，因此顺序采集的方式会导致数据打包的整体效率不高，不能满足用户对时效性的需求，且对待打包数据进行采集时不能保证采集到的数据的完整性，导致数据打包的完整度不高。

发明内容

本发明提供一种多数据打包方法、装置及计算机可读存储介质，其主要目的在于解决多数据打包时的效率及完整度不高的问题。

为实现上述目的，本发明提供的一种多数据打包方法，包括：

获取数据打包请求，提取所述数据打包请其中的目标数据字段；

对所述目标数据字段进行字段解析，得到多个数据信息字段和所述多个数据信息字段分别对应的ip字段；

将所述多个数据信息字段序列化为数据信息列表；

利用多线程并行方式、根据所述多个数据信息字段分别对应的ip字段获取多个待打包数据；

将所述多个待打包数据与所述数据信息列表进行完整性对比，若所述完整性对比的结果为不完整，利用定时任务重新根据所述多个数据信息字段分别对应的ip字段获取多个待打包数据；

若所述完整性对比的结果为完整，对所述多个待打包数据进行数据打包，得到数据包。

可选地，所述提取所述数据打包请其中的目标数据字段，包括：

遍历所述数据打包请求并确定所述数据打包请其中字段分隔符的位置；

根据所述字段分隔符的位置对所述数据打包请求进行字段拆分，得到多个拆分字段；

按照拆分顺序将所述多个拆分字段进行序号标注；

选取预设序号的拆分字段为所述目标数据字段。

可选地，所述对所述目标数据字段进行字段解析，得到多个数据信息字段和所述多个数据信息字段分别对应的ip字段，包括：

遍历所述目标数据字段并确定所述目标数据字段中的字段头和字段体；

对所述字段体进行反射操作，得到字段方法；

根据所述字段方法构建信息提取语句；

执行所述信息提取语句提取所述目标数据字段中的多个数据信息字段；

对所述字段头进行ip地址解析，得到所述多个数据信息字段分别对应的ip字段。

可选地，所述将所述多个数据信息字段序列化为数据信息列表，包括：