[发明专利]一种基于最小可查询模式的Deep Web自适应爬取方法

摘要

本发明公开了一种基于最小可查询模式的Deep Web自适应爬取方法。针对当前DeepWeb爬取方法存在的数据孤岛导致的爬取效率较低问题，本发明首先提出了最小可查询模式MEP的概念，并在此基础上提出了MEP生成算法与基于MEP的自适应爬取方法。本发明将查询接口由单文本框推广到最小可查询模式集，一次查询由一个MEP和与该MEP匹配的关键词向量共同确定，自适应地产生期望最优的下一个查询直到满足查询停止条件。本发明使用最小可查询模式不但提高了表单填写准确率，而且充分利用各个模式的特性选取关键词较好地克服数据孤岛问题。

主权项

1、一种基于最小可查询模式的Deep Web自适应爬取方法，其特征在于，包含以下步骤：1)生成目标Deep Web查询表单的最小可查询模式集合S_mep，其中查询表单：查询表单是Deep Web的查询接口，可表示为所包含控件元素的集合，即查询表单F＝{e₁，...，e_n}，其中e_i为F的控件元素；可查询模式：给定查询表单F＝{e₁，...，e_n}，∀{e1′,...,em′}∈2F,]]>1≤m≤n，若对中至少一个控件元素赋值后进行Deep Web数据库检索能返回检索结果，则称集合为F的一个可查询模式；最小可查询模式：F＝{e₁，...，e_n}的查询模式(1≤m≤n)是最小可查询模式当且仅当的任意一个真子集都不是可查询模式，记作2)添加种子候选查询q_i进候选查询集合，候选查询可表示为q_i(kv，mep_j)其中q_i(kv，mep_j)为第i次Deep Web查询，该次查询是通过向最小可查询模式mep_j提交关键词向量kv实现的，这里，mep_j∈S_MEP为包含m个控件元素的最小查询模式，kv＝(kv₁，kv₂，…，kv_m)为m维的关键词向量；3)对最小可查询模式集合中的每个最小可查询模式mep_j，预测其模式回报率P_new(q(mep_j))，模式回报率表示最小可查询模式独立于关键词向量选择的获取新记录的回报率，该值取决于查询模式本身；4)对候选查询集合中的每个候选查询q_i(kv，mep_j)估计其关键词向量kv对新纪录的条件回报率P_new(q_i(kv|mep_j))，P_new(q_i(kv|mep_j))表示q_i在mep_j查询模式下使用关键词向量kv查询对新结果的条件回报率，该值取决于给定模式下关键词向量的查询能力；5)对于候选查询集合中的查询q_i(kv，mep_j)计算查询q_i对新纪录的回报率P_new(q_i(kv，mepj))和提交其所花费的时间代价cost(q_i(kv，mep_j))；6)提交候选查询集合中效率Efficient(q_i)最高的查询q_i，下载结果页面，抽取新纪录中关键词向量kv和其对应的模式信息mep_j的偶对即(kv，mep_j)，更新候选查询集合，效率Efficient(q_i)为查询q_i单位代价下获取的新结果所占数据库总记录的比值，即Efficient(q_i(kv，mep_j))＝P_new(q_i(kv，mep_j))/cost(q_i(kv，mep_j))；7)如果满足停止爬取条件即为False时则爬取过程在该次查询后停止，算法结束；否则跳转至步骤0；其中cost_max为爬取过程中允许的最大代价，ε是个小于1的正数，ws为数据获取窗口W的大小。