[发明专利]海量文件型数据的索引生成方法及装置和搜索系统

权利要求书

1.一种文件型数据的索引生成方法，用于从文件型数据仓库生成供搜索的索引仓库，其特征在于，包括：

目录遍历步骤，通过爬虫程序，遍历所述文件型数据仓库；

数据格式解析步骤，利用数据格式解析器，对由在所述目录遍历步骤中遍历的所述文件型数据仓库中的各个文件型数据进行数据格式的解析；

元数据抽取步骤，利用元数据抽取器，从由已完成数据格式解析的所述各个文件型数据中抽取作为信息内容的元数据；

元数据快照生成步骤，利用元数据快照生成器，由所述元数据生成元数据快照；

路径转换步骤，利用路径转换器，将所述元数据快照中的文件型数据的本地路径转换为对外服务的网络路径；

索引生成步骤，利用索引生成器，通过索引程序对已路径转换的所述元数据快照生成索引，并按照一定的命名方式存储于所述索引仓库中。

2.如权利要求1所述文件型数据的索引生成方法，其特征在于，

在所述数据格式解析步骤中，所述数据格式解析器将首先依据文件扩展名预估文件解码格式，之后再通过二进制文件解码程序对预估结果验证。

3.如权利要求2所述文件型数据的索引生成方法，其特征在于，

在所述数据格式解析步骤中，在利用所述格式解析器进行格式解析时，如果扩展名解析结果与该扩展名对应的二进制解码程序不匹配，则格式解析器将首先遍历整个格式解析的函数库，若有解码程序匹配，在所述元数据抽取步骤中采用该解码程序，若没有匹配的解码程序，则进入未知元数据快照生成步骤。

4.如权利要求1所述文件型数据的索引生成方法，其特征在于，

在所述元数据抽取步骤中，在所述元数据抽取器抽取文件型数据的元数据时，针对每一个不同数据结构的二进制文件，编写唯一的二进制文件解码程序。

5.如权利要求1所述文件型数据的索引生成方法，其特征在于，

在所述元数据快照生成步骤中，所述元数据快照生成器利用其具有的主模板定制快照页面的结构，再利用其具有的副模板具体采集文件型数据中的元数据。

6.如权利要求1所述文件型数据的索引生成方法，其特征在于，

在所述目录遍历步骤中，所述爬虫程序遍历所述数据仓库中的文件型数据，若遍历失败，则结束本流程，若遍历正常，则对每一个文件型数据调用所述格式解析器解析数据格式，如果格式解析正确则进入所述元数据抽取步骤，否则进入未知元数据快照生成步骤；

在所述元数据抽取步骤中，如果抽取成功，则进入所述元数据快照生成步骤，否则进入所述未知元数据快照生成步骤；

在所述元数据快照生成步骤中，生成相应的元数据快照，如果生成成功，则进入所述路径转换步骤，否则进入所述未知元数据快照生成步骤；

在所述未知元数据快照生成步骤中，如果生成未知元数据快照成功，则进入所述路径转换步骤，若失败则结束本流程。

7.如权利要求1所述文件型数据的索引生成方法，其特征在于，

在所述路径转换步骤中，利用正则表达式对元数据快照进行替换，将本地路径转换为HTTP/FTP/NFS网络路径，如果转换成功，进入所述索引生成步骤，否则结束本流程。

8.如权利要求1所述文件型数据的索引生成方法，其特征在于，

在所述索引生成步骤中，利用索引生成器将生成的元数据快照生成索引，如果失败则结束本流程，如果成功则将生成索引按一定的命名方式存储于索引仓库。

9.如权利要求1所述文件型数据的索引生成方法，其特征在于，

所述索引生成步骤进一步包括对索引仓库中的索引文件进行合并的步骤。