[发明专利]非结构化数据的处理方法、装置、存储介质和设备

说明书

本申请公开了一种非结构化数据的处理方法、装置、存储介质和设备，应用于大数据领域，该方法为：对非结构化数据进行解析，得到非结构化数据的类型、文件头信息和文件尾信息；基于非结构化数据的类型、文件头信息和文件尾信息，获得多个文件分片；将各个文件分片，分别存储到不同的存储节点中；从各个存储节点中获取符合预设要求的文件分片，标识为目标文件分片；在目标文件分片的文件属性不符合预设条件的情况下，重复对目标文件分片进行读取，以使文件属性不断更新，直至文件属性符合预设条件；基于各个目标文件分片，生成目标非结构化数据。本申请将非结构化数据以文件分片的形式，存储在存储节点中，使得非结构化数据的可读性得到有效提高。

技术领域

本申请涉及大数据领域，尤其涉及一种非结构化数据的处理方法、装置、存储介质和设备。

背景技术

目前，大数据平台经常使用海杜普(Hadoop)技术栈，来处理大数据平台中的海量数据。

然而，大数据平台不仅包含结构化数据和关系型数据，同时也包含大量的非结构化数据(例如图像、音频、视频等)，使用Hadoop技术栈处理非结构化数据时，会仅按照文件(数据通常以文件格式存储在大数据平台)大小进行切分并会破坏文件结构，使得每个文件缺乏可读性，在进行数据处理时仍需要读取整个文件，非常耗费资源。

发明内容

本申请提供了一种非结构化数据的处理方法、装置、存储介质和设备，目的在于提高非结构化数据的可读性，以避免在非结构化数据的读取过程中发生资源消耗。

为了实现上述目的，本申请提供了以下技术方案：

一种非结构化数据的处理方法，包括：

对第一用户上传的非结构化数据进行解析，得到所述非结构化数据的类型、文件头信息以及文件尾信息；

基于所述非结构化数据的类型、文件头信息以及文件尾信息，获得所述非结构化数据的多个文件分片；

将各个所述文件分片，分别存储到不同的存储节点中；

在接收到第二用户发送的数据读取指令后，从各个所述存储节点中获取符合预设要求的文件分片，标识为目标文件分片；所述预设要求为：文件分片包含有所述数据读取指令所示文件头信息和文件尾信息；

对于获取得到的每个所述目标文件分片，在所述目标文件分片的文件属性不符合预设条件的情况下，重复对所述目标文件分片进行读取，以使所述文件属性不断更新，直至所述文件属性符合所述预设条件；所述预设条件为：所述文件属性所示的分辨率大于预设分辨率阈值，且所述文件属性所示的码率大于预设码率阈值；

基于各个所述目标文件分片，生成目标非结构化数据，并将所述目标非结构化数据发送给所述第二用户。

可选的，所述基于所述非结构化数据的类型、文件头信息以及文件尾信息，获得所述非结构化数据的多个文件分片，包括：

在所述非结构化数据的类型为图像的情况下，对所述非结构化数据所示的图像进行特征提取，得到多个特征图像；

对各个所述特征图像进行下采样，得到各个有效特征图像；

对于每个所述有效特征图像，将所述文件头信息、所述文件尾信息以及所述有效特征图像进行组合，生成所述非结构化数据的文件分片。

可选的，所述基于所述非结构化数据的类型、文件头信息以及文件尾信息，获得所述非结构化数据的多个文件分片，包括：

在所述非结构化数据的类型为音频和视频的情况下，对所述非结构化数据进行时间采样，得到播放时间相等、且内容不同的多个数据段；

对于每个所述数据段，将所述文件头信息、所述文件尾信息以及所述数据段进行组合，生成所述非结构化数据的文件分片。