[发明专利]非结构化数据的处理方法、装置、存储介质和设备

权利要求书

1.一种非结构化数据的处理方法，其特征在于，包括：

对第一用户上传的非结构化数据进行解析，得到所述非结构化数据的类型、文件头信息以及文件尾信息；

基于所述非结构化数据的类型、文件头信息以及文件尾信息，获得所述非结构化数据的多个文件分片；

将各个所述文件分片，分别存储到不同的存储节点中；

在接收到第二用户发送的数据读取指令后，从各个所述存储节点中获取符合预设要求的文件分片，标识为目标文件分片；所述预设要求为：文件分片包含有所述数据读取指令所示文件头信息和文件尾信息；

对于获取得到的每个所述目标文件分片，在所述目标文件分片的文件属性不符合预设条件的情况下，重复对所述目标文件分片进行读取，以使所述文件属性不断更新，直至所述文件属性符合所述预设条件；所述预设条件为：所述文件属性所示的分辨率大于预设分辨率阈值，且所述文件属性所示的码率大于预设码率阈值；

基于各个所述目标文件分片，生成目标非结构化数据，并将所述目标非结构化数据发送给所述第二用户。

2.根据权利要求1所述的方法，其特征在于，所述基于所述非结构化数据的类型、文件头信息以及文件尾信息，获得所述非结构化数据的多个文件分片，包括：

在所述非结构化数据的类型为图像的情况下，对所述非结构化数据所示的图像进行特征提取，得到多个特征图像；

对各个所述特征图像进行下采样，得到各个有效特征图像；

对于每个所述有效特征图像，将所述文件头信息、所述文件尾信息以及所述有效特征图像进行组合，生成所述非结构化数据的文件分片。

3.根据权利要求1所述的方法，其特征在于，所述基于所述非结构化数据的类型、文件头信息以及文件尾信息，获得所述非结构化数据的多个文件分片，包括：

在所述非结构化数据的类型为音频和视频的情况下，对所述非结构化数据进行时间采样，得到播放时间相等、且内容不同的多个数据段；

对于每个所述数据段，将所述文件头信息、所述文件尾信息以及所述数据段进行组合，生成所述非结构化数据的文件分片。

4.根据权利要求1所述的方法，其特征在于，所述将各个所述文件分片，分别存储到不同的存储节点中之后，还包括：

对于每个所述存储节点，对所述存储节点所存储的文件分片进行备份，得到文件分片备份，并将所述文件分片备份存储到其他存储节点中。

5.一种非结构化数据的处理装置，其特征在于，包括：

解析单元，用于对第一用户上传的非结构化数据进行解析，得到所述非结构化数据的类型、文件头信息以及文件尾信息；

分片单元，用于基于所述非结构化数据的类型、文件头信息以及文件尾信息，获得所述非结构化数据的多个文件分片；

存储单元，用于将各个所述文件分片，分别存储到不同的存储节点中；

获取单元，用于在接收到第二用户发送的数据读取指令后，从各个所述存储节点中获取符合预设要求的文件分片，标识为目标文件分片；所述预设要求为：文件分片包含有所述数据读取指令所示文件头信息和文件尾信息；

读取单元，用于对于获取得到的每个所述目标文件分片，在所述目标文件分片的文件属性不符合预设条件的情况下，重复对所述目标文件分片进行读取，以使所述文件属性不断更新，直至所述文件属性符合所述预设条件；所述预设条件为：所述文件属性所示的分辨率大于预设分辨率阈值，且所述文件属性所示的码率大于预设码率阈值；

发送单元，用于基于各个所述目标文件分片，生成目标非结构化数据，并将所述目标非结构化数据发送给所述第二用户。

6.根据权利要求5所述的装置，其特征在于，所述分片单元具体用于：

在所述非结构化数据的类型为图像的情况下，对所述非结构化数据所示的图像进行特征提取，得到多个特征图像；

对各个所述特征图像进行下采样，得到各个有效特征图像；

对于每个所述有效特征图像，将所述文件头信息、所述文件尾信息以及所述有效特征图像进行组合，生成所述非结构化数据的文件分片。