[发明专利]非结构化数据的描述方法及装置

说明书

技术领域

本发明属于数据库及检索技术领域，具体涉及一种非结构化数据的描述方法及装置。

背景技术

随着大数据时代的到来，数据中非结构化数据占越来越大的比例。IDC（互联网数据中心）报告显示，至2012年，非结构化数据占有比例将达到互联网整个数据量的75%以上，其中50%～75%都是以人为中心产生的。非结构化数据不仅涵盖多种数据类型，包括文档、图片、HTML、图像和音频/视频等，还具有明显的用户特性、存储介质多样、所属应用程序多样等特征。现有的非结构化数据通常分布式地存储在企业服务器中或个人电脑中，数据所有者通过文件系统或数据管理系统等进行管理。然而，在大数据环境下，数据的非结构化特征对数据组织和管理方法提出了新要求，传统非结构化数据管理技术也面临新问题。非结构化数据管理包括建立数据模型，数据存储，数据清洗，数据应用等方面，其中，建立数据模型是整个管理过程的基础，因此，设计合理有效的数据模型能够为非结构化数据管理奠定良好的数据结构基础。

目前国内外对非结构化数据模型的研究主要集中在结构信息抽取、实体抽取和数据属性分类等方面。WinFS是一种语义文件系统，其通过全文分析方式提取<属性、值>来表示非结构化数据，现有方案有（1）通过抽取结构信息来管理非结构化数据；（2）通过关系模型来建模数据、元数据和数据关联；（3）提出基于一般特征、语义特征、底层特征、原始数据的四面体数据模型；（4）提出基于元数据抽取的桌面检索方案，通过上下文信息来增强搜索效果；（5）提出采用主题模型来标记非结构化数据中的内容。

由上可知，已有的非结构化数据模型重点关注非结构化数据本身的特征。然而，除数据本身特征外，用户特性、行为、行为时间、交互的其它用户或数据等诸多因素都与最终产生的非结构化数据息息相关，同时，非结构化数据还具备一些扩展性质，如领域、权限、负责人等。将这些因素和扩展性质并未纳入现有的非结构化数据属性空间中，不利于更全面地表示非结构化数据，满足复杂检索需求。例如，目前针对非结构化数据的检索多是针对数据题名或内容的关键字检索，检索结果的准确度难以达到用户期望；同时，随着数据量的增长，数据检索速度受到很大制约。尤其在数据模型方面，现有模型无法满足复杂检索对数据模型的需求，对数据的描述局限于数据文件本身的基本性质。

发明内容

本发明旨在至少在一定程度上解决上述技术问题之一或至少提供一种有用的商业选择。为此，本发明的一个目的在于提出一种全面的、效率高的非结构化数据的描述方法；本发明的另一个目的在于提出一种全面的、效率高的非结构化数据的描述装置。

根据本发明实施例的非结构化数据的描述方法，包括以下步骤：S1.通过手动或自动的方式采集导入非结构化数据文件的属性信息；S2.将采集到的所述属性信息生成非结构化数据文件的属性描述的JSON文件，并进行数据建模；S3.存储所述非结构化数据文件以及对应的所述JSON文件。

在本发明的一个实施例中，所述属性信息包括：基本属性类，所述基本属性类包括文件属性组、用户属性组和权限属性组；内容属性类，所述内容属性组类包括描述属性组和语义属性组；特性属性类，所述特性属性组类包括媒体属性组、文档属性组、音频属性组、视频属性组和图像属性组；行为属性类，所述行为属性组类包括文件热度属性组、任务属性组、上下文属性组和交互信息属性组；环境属性类，所述环境属性组类包括主题热度属性组和相似主题属性组；以及时间属性类，所述时间属性组类包括静态时间属性组和动态时间属性组。

在本发明的一个实施例中，每个所述属性组包括一个或多个属性元。

在本发明的一个实施例中，所述数据建模包括：树形结构数据建模、六面体结构数据建模和星系结构数据建模。

在本发明的一个实施例中，所述六面体结构数据建模中，六面体的每个面分别表示一种属性类，非结构化数据的各项属性以节点形式分布在所属平面上，对同一属性组的不同属性元之间采取权值为1的双向图建立连接，对同一属性类的不同属性组之间的属性元采取权值为2的双向图建立连接，对不同属性类之间的属性元采取权值为3的双向图建立连接。