[发明专利]一种海量非结构化数据处理方法和装置

权利要求书

1.一种海量非结构化数据处理方法，其特征在于，包括：

对海量非结构化数据进行清理得到标准格式的数据文件；

批量上传所述标准格式的数据文件到分布式存储平台；

创建一个或多个索引存储所述标准格式的数据文件；

根据所述索引在分布式存储平台上进行分布式数据查询。

2.根据权利要求1所述的一种海量非结构化数据处理方法，其特征在于，

所述对海量非结构化数据进行清理得到标准格式的数据文件的步骤包括：

将海量非结构化数据中所有的非数值数据转换为数值数据；

处理转换后的数值数据中不完整的数据、错误的数据、重复的数据；

转换所述数值数据得到标准格式的数据文件。

3.根据权利要求2所述的一种海量非结构化数据处理方法，其特征在于，所述处理转换后的数值数据中不完整的数据、错误的数据、重复的数据的步骤包括：

将一系列相似数值数据用统计量概括；

删掉稀疏数值数据和共线数值数据；

用中位数或平均数填充空值。

4.根据权利要求1所述的一种海量非结构化数据处理方法，其特征在于，所述批量上传所述标准格式的数据文件到分布式存储平台的步骤包括：

将所述标准格式的数据文件存放到同一目标文件路径下；

循环遍历所述目标文件获取得到包含绝对路径的文件全名，并存入链接数据表；

遍历所述链接数据表中的每个路径获取得到所述标准格式的数据文件的数据格式信息；

解析所述标准格式的数据文件的数据格式信息得到对应的匹配字段；

根据所述匹配字段利用批量导入接口将所述标准格式的数据文件导入到分布式存储平台。

5.根据权利要求1所述的一种海量非结构化数据处理方法，其特征在于，

所述创建一个或多个索引存储所述标准格式的数据文件的步骤包括：

根据所述标准格式的数据文件的特性创建一个或多个索引；

将所述标准格式的数据文件存储到对应的索引中。

6.一种海量非结构化数据处理装置，其特征在于，包括：

清理模块，用于对海量非结构化数据进行清理得到标准格式的数据文件；

上传模块，用于批量上传所述标准格式的数据文件到分布式存储平台；

存储模块，用于创建一个或多个索引存储所述标准格式的数据文件；

查询模块，用于根据所述索引在分布式存储平台上进行分布式数据查询。

7.根据权利要求6所述的一种海量非结构化数据处理方法，其特征在于，

所述清理模块包括：

第一转换单元，用于将海量非结构化数据中所有的非数值数据转换为数值数据；

处理单元，用于处理转换后的数值数据中不完整的数据、错误的数据、重复的数据；

第二转换单元，用于转换所述数值数据得到标准格式的数据文件。

8.根据权利要求7所述的一种海量非结构化数据处理方法，其特征在于，所述处理单元包括：

概括子单元，用于将一系列相似数值数据用统计量概括；

删除子单元，用于删掉稀疏数值数据和共线数值数据；

填充子单元，用于用中位数或平均数填充空值。

9.根据权利要求6所述的一种海量非结构化数据处理方法，其特征在于，所述上传模块包括：

存放单元，用于将所述标准格式的数据文件存放到同一目标文件路径下；

第一遍历单元，用于循环遍历所述目标文件获取得到包含绝对路径的文件全名，并存入链接数据表；

第二遍历单元，用于遍历所述链接数据表中的每个路径获取得到所述标准格式的数据文件的数据格式信息；

解析单元，用于解析所述标准格式的数据文件的数据格式信息得到对应的匹配字段；

导入单元，用于根据所述匹配字段利用批量导入接口将所述标准格式的数据文件导入到分布式存储平台。

10.根据权利要求6所述的一种海量非结构化数据处理方法，其特征在于，

所述存储模块包括：

创建单元，用于根据所述标准格式的数据文件的特性创建一个或多个索引；

存储单元，用于将所述标准格式的数据文件存储到对应的索引中。