[发明专利]一种非结构化数据的入库方法及装置

说明书

本申请提供一种非结构化数据的入库方法及装置。所述方法包括：构建待入库数据的索引信息表，索引信息表中包括：节点全名和分类节点，节点全名包括分类节点对应的存储位置；获取待入库数据的文件全名信息，构建待入库数据的文件全名信息表；根据文件全名信息表和索引信息表，将待入库数据进行归类和规范命名，获得待入库数据的归类节点和规范文件名；根据归类节点和分类节点，获得待入库数据对应的节点全名；根据节点全名和规范文件名，获得待入库数据的入库文件全名，根据入库文件全名、文件全名信息将待入库数据存入对应的位置处。利用本申请中各实施例，可以提高非结构化数据的入库质量和效率。

技术领域

本申请属于数据处理技术领域，尤其涉及一种非结构化数据的入库方法及装置。

背景技术

大数据通常可以包括结构化数据和非结构化数据，随着网络技术的发展，非结构化数据越来越多，对于非结构化数据的存储和管理是一项重要的工作。为了更好保留及共享具有价值的不同类型文件，越来越多的企业采用云存储技术来实现这些非结构化数据的存储。

相对于结构化数据的存储和管理，非结构化数据则显得较随意，故其存储入库方式也较为形式多样，非结构化数据的存储基本可以分为2类：一类是根据入库管理要求，直接把文件或文件夹复制到指定的存放位置，如有需要，再对文件或文件夹做重命名，并在管理员的备案上做好登记，这属于纯手工入库方式；另一类是根据系统提供的文件传输工具，把文件复制到指定位置，软件自动记下文件上传与存放位置的记录日志，这属于手工为主，软件为辅的入库方式。但是，随着资料积累，非结构化数据越来越多，存在着不同或相同阶段的同一文件或同名文件夹存放在多个不同文件夹下的情况。现有技术中，直接将文件或文件夹入库的方式，会导致入库后的数据杂乱的问题凸显，影响了非结构化数据的入库质量。同时，手动方式的文件重命名或文件复制，易存在张冠李戴、错误难以及时发现、查找源头困难等问题，也会导致非结构化数据的入库质量降低，同时影响数据入库的效率。

因此，业内亟需一种能够进一步提高非结构化数据的入库质量的实施方案。

发明内容

本申请目的在于提供一种非结构化数据的入库方法及装置，提高了非结构化数据的入库质量和入库效率。

一方面本申请提供了一种非结构化数据的入库方法，包括：

构建待入库数据的索引信息表，所述索引信息表中包括：节点全名和分类节点，所述节点全名包括所述分类节点对应的存储位置；

获取所述待入库数据的文件全名信息，构建所述待入库数据的文件全名信息表，所述文件全名信息包括：所述待入库数据的入库前存储位置、入库前文件名；

根据所述文件全名信息表和所述索引信息表，将所述待入库数据进行归类，获得所述待入库数据的归类节点；

根据所述归类节点和所述分类节点，获得所述待入库数据对应的节点全名；

根据所述待入库数据对应的节点全名、所述文件全名信息将所述待入库数据存入对应的位置处。

进一步地，所述方法的另一个实施例中，所述方法还包括：

构建所述待入库数据的文件全名信息表后，获取所述待入库数据的基本信息；

将所述基本信息加入所述文件全名信息表中，对所述文件全名信息表进行第一次扩充；

对第一次扩充后的文件全名信息表进行第一去重处理，所述第一去重处理包括：

将所述入库前文件名相同、所述基本信息相同、所述文件全名信息不同的待入库数据对应的文件全名信息和基本信息作为第一重复文件信息，保留任意一个第一重复文件信息，将未被保留的第一重复文件信息从所述基本属性信息表中删除；

相应的，所述根据所述文件全名信息表和所述索引信息表，将所述待入库数据进行归类，获得所述待入库数据的归类节点，包括：