[发明专利]一种融合结构化数据和非结构化数据的数据传输方法

说明书

技术领域

本发明涉及一种融合结构化数据和非结构化数据的数据传输方法，属于数据传输、数据交换、数据共享技术领域。

背景技术

在移动互联网时代，各行各业的数据量都呈现出几何级数的增长。数据即资产，为了采集、存储、并挖掘这些数据中的价值，大数据技术随之兴起。在大数据兴起的过程中，有一种需求显得尤为迫切。在大数据时代，各个行业都提出了数据整合的需求，即将分散在各个领域、各个系统中的数据进行统一提取、处理，并集中存储。

在数据整合的过程中，不可避免的存在数据传输、数据交换与数据共享，因此各行业都在制定自己的数据传输、数据交换和数据共享标准。在数据传输中一般涉及到两类数据：结构化数据和非结构化数据。通常，数据传输时把结构化数据和非结构化数据分开处理。但是在许多情况下结构化数据和非结构化数据是紧密相关的，具有强相关性，如果分开传输与处理会带来很多问题。为此，我们设计了一种新的数据传输方法，采用该方法，可以融合结构化数据和非结构化数据，同步传输，同步处理，给数据传输、数据交换和数据共享带了极大的便利性。

发明内容

本发明所要解决的技术问题是提供一种设计简单，能够高效保证结构化数据和非结构化数据进行同步传输的融合结构化数据和非结构化数据的数据传输方法。

本发明为了解决上述技术问题采用以下技术方案：本发明设计了一种融合结构化数据和非结构化数据的数据传输方法，针对包含有结构化数据和非结构化数据的数据进行数据传输，包括如下步骤：

步骤001.分别获取非结构化数据中各个文件的预设各项属性信息，同时，将结构化数据转换为预设数据编码格式，然后进入步骤002；

步骤002.根据非结构化数据中文件的数量N，获取结构化数据中与非结构化数据中N个文件分别一一对应的N个字段，然后进入步骤003，其中，N≥1；

步骤003.将非结构化数据中各个文件的预设各项属性信息，分别添加作为结构化数据中对应字段的扩展字段，构成非结构化数据中对应文件的引用，其中，结构数据中具有扩展字段的字段，与对应扩展字段构成复合字段，然后进入步骤004；

步骤004.分别获得结构化数据的长度信息和非结构化数据的长度信息，然后将结构化数据长度信息、非结构化数据长度信息，以及结构化数据的预设数据编码格式三者进行组合构成文件头，并进入步骤005；

步骤005.将文件头、结构化数据和非结构化数据依序拼接，构成半结构化数据，并进行数据传输，针对包含有结构化数据和非结构化数据的数据实现数据传输。

作为本发明的一种优选技术方案：所述步骤005之后还包括如下步骤，执行完步骤005之后，进入步骤006；

步骤006.接收终端接收半结构数据，针对文件头进行解析，分别获得结构化数据长度信息、非结构化数据长度信息，以及结构化数据的预设数据编码格式，然后进入步骤007；

步骤007.提取半结构化数据中的结构化数据，并进一步提取其中的各个复合字段，然后进入步骤008；

步骤008.根据结构化数据长度信息和结构化数据的预设数据编码格式针对结构化数据进行解析，获得解析后的结构化数据，然后进入步骤009；

步骤009.根据结构化数据中的各个复合字段中的扩展字段，逐个提取获得半结构化数据中非结构化数据中的各个文件。

作为本发明的一种优选技术方案：所述步骤001中，所述预设各项属性信息包括文件名、文件类型、文件大小。

作为本发明的一种优选技术方案：所述步骤001中，将结构化数据转换为JSON数据编码格式。

本发明所述一种基于融合结构化数据和非结构化数据的数据传输方法采用以上技术方案与现有技术相比，具有以下技术效果：

(1)本发明所设计的一种基于融合结构化数据和非结构化数据的数据传输方法，将结构化数据与非结构化数据融合在一个文件中进行传输，使得结构化数据和非结构数据在网络中进行传输、交换和共享时能够同步，避免了分开传输时存在数据不同步的问题；而且在数据传输与处理过程中，结构化数据和非结构化数据通过本发明设计方法有效关联后可以在应用系统中进行统一、同步处理，避免了异步处理的复杂性，同时也避免了结构化数据或非结构化数据中数据丢失所导致的数据不一致问题；并且基于数据传输时所设计的结构，设计与之相对应的解析处理，针对所接收到的结构化数据和非结构化数据的实现统一解析、处理，大大提高了数据传输过程中的解析效率；