[发明专利]一种基于云计算环境的非结构化数据的管理方法

摘要

本发明涉及一种基于云计算环境的非结构化数据的管理方法，属于计算机数据管理技术领域。本方法支持基于多个云计算存储系统的非结构化数据管理，采用了松散耦合非结构化源数据云存储系统、非文本类非结构化数据的特征数据云存储系统和文本类非结构化数据的特征数据云系统等子存储系统的体系结构，通过可多重部署的独立查询处理模块对底层子存储系统和多类型特征提取子模块的调度，关联非结构化数据的源数据和特征数据，以统一的模式实现面向源数据和特征数据的对多种非结构化数据的存储、获取、查询等管理功能。本方法在形成的系统体系结构和管理的内容等方面都具有高可扩展性的优点。

主权项

一种基于云计算环境的非结构化数据的管理方法，其特征在于该方法包括以下九个步骤：(1)查询处理模块对源数据云存储系统进行初始化，在源数据云存储系统中为每个用户建立相应的目录，查询处理模块对特征数据云存储系统进行初始化，在特征数据云存储系统中为系统处理的多类型非结构化数据分别建立默认表格，用以在默认表格中分别存储相应类型的非结构化数据的特征数据；(2)查询处理模块打开指定网络端口，并对查询处理模块与网络外部客户端的连接状态进行监听；(3)当查询处理模块接收到网络外部客户端的连接请求时，查询处理模块与网络外部客户端建立连接，查询处理模块中的控制线程从网络外部的客户端通过网络接收客户端的操作命令，查询处理模块中的数据线程从网络外部的客户端通过网络接收客户端的与该操作命令相应的非结构化数据，并缓存；(4)当客户端的操作命令为存储命令时，查询处理模块中的控制线程根据操作命令将上述缓存的非结构化数据按照用户指定地址存入源数据云存储系统中，若操作命令中存在用户指定的源数据地址，则对地址进性合法性检查，若存在地址重名，则查询处理模块对地址增加一个编号信息，得到一个新源数据地址，并将缓存的非结构化数据存入新源数据地址中，若不存在地址重名，则将缓存的非结构化数据存入用户指定的源数据地址，若用户没有指定源数据地址，则查询处理模块自动生成一个新源数据地址，使该新源数据地址与相应的用户目录相关联，并将缓存的非结构化数据存入新源数据地址中；(5)对非文本类的非结构化数据，查询处理模块判断存储的非文本类的非结构化数据类型，根据判断结果，通知相应非文本类的非结构化数据类型所对应的特征提取模块提取非文本类的非结构化数据的特征数据，特定类型的非文本类的非结构化数据特征提取模块接到通知后，从源数据云存储系统中取出非文本类的非结构化源数据，并为获取的非文本类的非结构化源数据提取特征数据后，将提取的特征数据返回给查询处理模块，查询处理模块收到特征数据后将特征数据存入特征存储系统中，若操作命令中存在用户指定的特征数据地址，则对地址进性合法性检查，若存在特征数据地址重名，则查询处理模块对特征数据地址增加一个编号信息，得到一个新特征数据地址，并将特征数据存入新特征数据地址中，若不存在地址重名，则将缓存的非结构化数据存入用户指定的特征数据地址，若用户没有指定特征数据地址，则查询处理模块自动生成一个新特征数据地址，使该新特征数据地址与相应的用户目录相关联，并将缓存的非结构化数据存入新特征数据地址中；(6)对文本类的非结构化数据，查询处理模块的控制线程通知查询处理模块中的文本特征数据子云系统提取文本类非结构化数据的特征数据，文本特征数据子云系统接到通知后，从源数据云存储系统中获取文本非结构化数据，并为获取的文本非结构化数据提取文本特征和建立文本索引；(7)当操作命令为查询命令时，若操作命令中存在用户指定的源数据地址，则查询处理模块从源数据云存储系统的相应地址中取出非结构化源数据，通过数据线程返回给用户；若操作命令中存在用户指定的特征数据地址，查询处理模块从特征数据云存储系统的相应地址中取出特征数据，并根据特征数据表格中存储的源数据地址，从源数据云存储系统的相应地址中取出非结构化源数据，通过数据线程返回给用户；(8)当操作命令为查询命令时，若操作命令中存在用户指定的特征数据，则：若特征数据是文本特征数据，查询处理模块通知文本特征数据子云系统进行查询，文本特征数据子云系统将查询得到的包含非结构化数据地址列表的查询结果返回至查询处理模块，查询处理模块将查询结果返回给用户；若特征数据是非文本特征数据，则查询处理模块从特征数据云存储系统中读出所有特征数据，并将读出的特征数据与用户指定的特征数据进行比较，若操作命令指定的是近似匹配，则将用户指定的特征数据与读出的特征数据进行近似度计算，将所有近似度符合近似范围的特征数据的源数据地址返回给用户，若操作命令指定的是等价匹配，则将所有与用户指定的特征数据完全相等的特征数据的源数据地址返回给用户；(9)当操作命令为查询命令时，若操作命令中不存在用户指定的源数据地址、特征数据地址和特征数据，则查询处理模块从源数据云存储系统中与用户对应的目录下，取出所有非结构化数据地址返回给用户。