[发明专利]一种面向主题的网页采集系统

权利要求书

1.一种面向主题的网页采集系统，其特征在于包括：样本训练模块、策略搜索模块和采集模块；

样本训练模块，通过人工设定的网页样本库进行分析和计算得出主题特征向量和值，及页面的相似度阀值；

策略搜索模块，控制检索的URL地址集，把搜索范围控制在候选种子网站；

采集模块，接受策略搜索模块发送过来的URL地址集，并进行页面的净化、特征提取、分析、并采集保存；在进行特征分析的过程中，判断同主题网页的主题特征向量与值和相似度阀值需要人工参考样本训练模块的结果来进行填写；

所述策略搜索模块实现过程为：

（11）首先构造主题类缓冲池positivePool、非主题类缓冲池negtivePool两类缓冲池，用来存放URL类实体，即URL地址集中的URL地址；两个缓冲池初始化值均为空集合；所述主题类缓冲池中存放与采集主题相关的URL地址，非主题类缓冲池中存放的为和采集主题不相关的URL地址，缓冲池的作用是放URL地址以便采集网页的时候能快速使用，分为主题类和非主题类是为了形成主题类的URL地址集；所述缓冲池即为封装好的队列操作；

（12）人工选取种子站点Seeds，构成搜索程序Spider的初始网页集即URL地址集；

（13）把人工选取的种子站点的初始网页集进行Spider搜索，并结合定点策略、缓冲池策略，记录对应页面地址；该模块记录的页面地址最后全部提供给采集模块进行页面的采集；所述定点策略为只对人工选定的站点进行站内搜索；所述缓冲池策略为把采集的页面地址放入缓冲池。

2.根据权利要求1所述的面向主题的网页采集系统，其特征在于：所述采集模块的实现过程为：对页面地址Raw URLi，i∈N，i≤n如下处理：

（21）页面预处理，获得页面P_i；

（22）若pos itivePool不为空则进行搜索，若P_i与其中条目匹配则认为网页属于主题页面，P_i处理结束，返回（21）处理P_i+1；

（23）若negtivePool不为空则进行搜索，若P_i与其中条目匹配则认为网页不属于主题页面，P_i处理结束，返回（21）处理P_i+1；

（24）根据公式(6)构建页面P_i的HVSM特征向量V；

V=(k_tω₁,…,k_tω_i,k_sω₁’,…,k_sω_j’)=(ω₁’，ω₂’，…，ω_n’)    (6)

式中n=i+j，ωi、ω_j分别表示V₁、V₂所包含特征词t_i、s_j的权值，n为特征空间的总维数，k_t、k_s为对内容特征向量V₁、结构特征向量V₂赋予的权值，s_j表示结构特性参数，t_i表示词条；

（25）根据公式(7)将P_i与训练样本页面进行相似度分析，获得相似度L；

L=sim(Vi,Vj)=Σk=1n(ωik,×ωjk,)(Σk=1nωik,2)·(Σk=1nωjk,2)---(7)]]>

式中sin为正弦公式符号，Vi为内容特征向量、Vj结构特征向量、ωi、ωj分别表示V₁、V₂所包含特征词t_i、s_j的权值、s_j表示结构特性参数、t_i表示词条；

（26）若相似度L大于设定阈值ε，则认为网页属于主题页面，将主题页面存入网页数据库，并将Raw URL i存入positivePool；否则将Raw URL i存入negtive2Pool。