[发明专利]一种分析非结构化数据的方法及系统

权利要求书

1.一种分析非结构化数据的方法，其特征在于，所述方法包括：

S1：读入目标数据源，解析目标数据源数据，获得提取字段列表；

S2：生成搜索规则和搜索表达式，将搜索规则添加到历史字段规则映射库用以后续学习，其中，生成搜索规则包括：

从所述提取字段列表中选择提取字段组合；

结合历史字段规则映射库的字段-规则表达式映射关系进行学习；

生成预测搜索规则候选名单；

根据所述预测搜索规则候选名单选择最佳合适的候选搜索规则，生成搜索规则；

S3：根据目标数据源确定解析后的结构化数据的表结构，保存所述表结构；

S4：基于所述搜索规则和搜索表达式从目标数据源中解析获得字段信息，按照所述表结构保存获得的字段信息，得到结构化数据。

2.如权利要求1的分析非结构化数据的方法，其特征在于，所述S4之后还包括对所述结构化数据进行存储。

3.如权利要求1的分析非结构化数据的方法，其特征在于，所述搜索表达式采用SPL搜索处理语言格式表示。

4.如权利要求1的分析非结构化数据的方法，其特征在于，所述解析目标数据源数据获得提取字段列表的方法包括二次搜索解析，所述二次搜索解析是指对搜索结果数据进行二次解析运算。

5.如权利要求4的分析非结构化数据的方法，其特征在于，所述二次解析计算包括正则表达式、Eval计算。

6.如权利要求1的分析非结构化数据的方法，其特征在于，所述S4中，获得字段的方法包括：正则表达式方法、固定分隔符方法、JSON方法、键值对方法、XML方法。

7.一种分析非结构化数据的系统，其特征在于，包括：

初级解析模块：用于读入目标数据源，解析目标数据源数据获得提取字段列表；

搜索参数构建模块：用于生成搜索规则和搜索表达式，将搜索规则添加到历史字段规则映射库用以后续学习；

表结构构建模块：用于根据目标数据源确定解析后的结构化数据的表结构，保存所述表结构；

数据提取模块：用于基于所述搜索规则和搜索表达式从目标数据源中解析获得字段信息，按照所述表结构保存获得的字段信息，得到结构化数据；

历史字段规则映射库：用于提供搜索规则的存储和获取服务。

8.如权利要求7的分析非结构化数据的系统，其特征在于，还包括SPL搜索接口模块，用于对SPL语言进行解析和处理。

9.如权利要求7的分析非结构化数据的系统，其特征在于，还包括二次搜索解析模块，用于对搜索结果数据进行二次解析运算。

10.一种电子设备，其特征在于，所述设备包括处理器以及存储器，其中：

所述存储器用于存储可执行程序；

所述处理器用于执行所述可执行程序以实现权利要求1-6任一所述分析非结构化数据的方法。