[发明专利]一种面向深层网页的增量信息获取方法

摘要

本发明公布了一种面向深层网页的增量信息获取方法。本发明方法包括：步骤1：确定与远程数据源同步频率；步骤2：利用泊松过程来表示数据源变化频率；步骤3：确定平均新颖度；步骤4：根据数据时新性确定更新频率进行增量信息获取。另外，本发明还可以利用在线学习方法有效进行增量信息获取。本发明方法首先确定与远程数据源同步频率，然后利用泊松过程获得数据源变化频率；接着根据数据时新性确定更新频率。相比现有技术，本发明方法是一种非常高效的深层网页的增量信息获取方法，它能够较大范围地提高人们的工作效率以及在相同更新资源条件下，使得本地数据和远程数据保持最大化同步，为进一步实现深层网数据源集成提供基础。

主权项

1.一种面向深层网页的增量信息获取方法，其特征在于包括如下步骤：步骤1：确定本地对象与远程数据源同步频率，其中远程数据源即远程Web上数据库；步骤2：利用泊松过程来表示远程数据源平均变化频率λ_i，其中，i＝1，2，...，n；步骤3：确定平均新颖度：由步骤2得到的平均变化频率λ_i，确定各对象即远程Web上数据库中各数据项e_i对应的同步频率f_i，在满足同步资源限制的条件下，使本地数据库的平均新颖度最大，F‾(S)=1nΣi=1nF‾(ei)=1nΣi=1nF‾(λi,fi);]]>步骤4：根据数据时新性确定更新频率在时刻t数据抓取系统所维护的第i个数据记录r_i的时新性如下：则由N个数据记录组成的数据记录集合S的平均时新性如下：F(S,t)=1NΣi=1NF(ri,t).]]>利用拉格朗日乘子可以计算得到各对象的理论同步频率，然后按理论同步频率对对象数据进行同步，使本地数据库的平均新颖度达到最大值。