[发明专利]数据抓取引擎开发方法、执行方法、设备及存储介质

权利要求书

1.一种数据抓取引擎开发方法，其特征在于，包括：

获取不同维度的数据作为录制访问样本，所述不同维度的数据包括浏览器操作行为数据和HTTP请求数据；

基于黑板系统和HTTP回放技术对所述录制访问样本进行推导，获取请求访问目标的最优访问推导信息，其中，所述最优访问推导信息包括最优路径、所述最优路径的最优参数集和最优参数因果路径；

基于所述最优访问推导信息，构建行为树，生成表征所述行为树和状态机的DSL文件；

通过对所述DSL文件进行词法、语法分析，识别所述行为树的节点中待生成代码的目标行为节点，对所述目标行为节点进行代码生成；

所述基于黑板系统和HTTP回放技术对所述录制访问样本进行推导，获取请求访问目标的最优访问推导信息包括：

将所述录制访问样本导入黑板系统，作为当前共享知识；

为所述黑板系统选取多个知识源；

使每个知识源基于先验知识对所述当前共享知识进行推导，得到先验结果，将所述先验结果中的所述请求访问目标的最优路径、所述最优路径的最优参数集和最优参数因果路径进行HTTP重放测试，得到新的共享知识，将新的共享知识导入所述黑板系统，并将所述新的共享知识作为所述当前共享知识；

重复所述使每个知识源基于先验知识对所述当前共享知识进行推导，得到先验结果的步骤，直到所有知识源对当前共享知识的推导不再产生新的先验结果，最新的先验结果中的所述请求访问目标的最优路径、所述最优路径的最优参数集和最优参数因果路径即为所述请求访问目标的最优访问推导信息。

2.根据权利要求1所述的方法，其特征在于，所述基于所述最优访问推导信息，构建行为树，生成表征所述行为树和状态机的DSL文件包括：

基于所述最优路径构建双层行为树，所述双层行为树的顶层节点包括一控制节点，第二层节点均为访问行为节点；

基于所述最优参数集，在所述访问行为节点的父级扩展数据处理行为节点；

基于所述最优参数因果路径，对所述数据处理行为节点进行垂直展开，再加入控制节点，进行同步水平扩展；

采用前序遍历的方式，从根节点开始，参照DSL词法表推导出DSL文法结构，得到所述DSL文件。

3.根据权利要求1所述的方法，其特征在于，在所述通过对所述DSL文件进行词法、语法分析，识别所述行为树的节点中待生成代码的目标行为节点，对所述目标行为节点进行代码生成之前，还包括：

提供人工介入调整所述行为树的入口；

所述通过对所述DSL文件进行词法、语法分析，识别所述行为树的节点中待生成代码的目标行为节点，对所述目标行为节点进行代码生成包括：

通过对所述DSL文件进行词法、语法分析，识别DSL声明的行为节点是否存在语法异常；

若是，则中断代码生成过程，并生成提示消息，用以提示人工介入修改；

若否，则利用模板技术对所述DSL声明的未引用实现的行为节点进行实现代码生成；

将生成的代码文件落盘至指定代码路径，并根据获取的DSL定义语句位置更新补全定义语句。