[发明专利]一种基于Map/Reduce的非结构化数据的处理方法和装置

权利要求书

1.一种基于Map/Reduce的非结构化数据的处理方法，其特征在于，包括：

预先创建非结构化数据的对象代理；所述非结构化数据由一个或多个对象组成，所述对象代理用于描述非结构化数据中的对象；

建立对象代理、数据文件以及序列化处理节点的映射关系；

生成基于对象代理的Key-Value对集，通过Map/Reduce计算框架将所述Key-Value对集进行分割，使得每个计算节点得到相应的Key-Value对集序列；

通过Key-Value对集的对象代理和映射关系，确定各对象对应的序列化处理节点；

通过所述序列化处理节点对各对象进行序列化处理，生成各对象的数据实体；

通过计算节点对各数据实体进行反序列化处理，重构各内存对象，以对所述内存对象进行计算处理。

2.根据权利要求1所述的基于Map/Reduce的非结构化数据的处理方法，其特征在于，所述通过所述序列化处理节点对各对象进行序列化处理，生成各对象的数据实体，包括：

动态提取数据文件中的各对象，并对各对象进行序列化处理，生成包含对象二进制表达的数据实体。

3.根据权利要求2所述的基于Map/Reduce的非结构化数据的处理方法，其特征在于，所述预先创建非结构化数据的对象代理，包括：

将所述非结构化数据按照对象进行逻辑划分，通过一代理描述结构来表示非结构化数据所包含的对象；

所述对象代理包括对象唯一标识、对象名称、对象结构描述、该对象所对应的数据文件名称、对象存储方式、对象存储位置、该对象所对应的序列化处理节点、该对象支持的子对象分割方式。

4.根据权利要求3所述的基于Map/Reduce的非结构化数据的处理方法，其特征在于，在通过所述序列化处理节点对各对象进行序列化处理，生成各对象的数据实体之前，包括：

根据所述子对象分割方式对各对象进行子对象分割，生成对象的子对象；所述子对象分割方式包括根据时间进行子对象分割、根据空间进行子对象分割以及根据物理属性进行子对象分割；

所述通过所述序列化处理节点对各对象进行序列化处理，生成各对象的数据实体，还包括：

通过所述序列化处理节点对各对象中的子对象进行序列化处理，生成各子对象的数据实体。

5.根据权利要求1所述的基于Map/Reduce的非结构化数据的处理方法，其特征在于，所述生成基于所述对象代理的Key-Value对集，包括：

获取计算节点发送的数据调用请求；

向存储有对象代理的中央数据库发送查询对象代理请求；

若查找到计算节点所需的对象代理，则生成基于该对象代理的Key-Value对集。

6.一种基于Map/Reduce的非结构化数据的处理装置，其特征在于，包括：

非结构化数据划分单元，用于预先创建非结构化数据的对象代理；所述非结构化数据由一个或多个对象组成，所述对象代理用于描述非结构化数据中的对象；

映射关系建立单元，用于建立对象代理、数据文件以及序列化处理节点的映射关系；

Key-Value对集生成单元，用于生成基于对象代理的Key-Value对集，通过Map/Reduce计算框架将所述Key-Value对集进行分割，使得每个计算节点得到相应的Key-Value对集序列；

序列化处理节点确定单元，用于通过Key-Value对集中的对象代理和映射关系，确定各对象对应的序列化处理节点；

数据实体生成单元，用于通过所述序列化处理节点对各对象进行序列化处理，生成各对象的数据实体；

内存对象重构单元，用于通过所述计算节点对各数据实体进行反序列化处理，重构各内存对象，以对所述内存对象进行计算处理。

7.根据权利要求6所述的基于Map/Reduce的非结构化数据的处理装置，其特征在于，所述数据实体生成单元，具体用于：

动态提取数据文件中的各对象，并对各对象进行序列化处理，生成包含对象二进制表达的数据实体。