[发明专利]一种基于内容相似度计算的自动搜索引擎构建方法

摘要

本发明公开了一种基于内容相似度计算的自动搜索引擎构建方法，本发明在现有技术搜索引擎基础上，采用“最大熵和”、“最小熵差”来计算网页内容差异度，为每个网页建立相似内容索引，搜索引擎可自动搜索相似内容网页。当用户输入关键词后，不仅搜索出包含关键词的网页，同时还为每个搜索出的网页，再自动搜索相似内容网页并进行聚类显示；当用户在搜索结果中点击链接浏览时，自动搜索相似内容网页并进行信息推送；自动跟踪用户浏览网页、搜索相似内容网页进行信息推送。用本发明构建的搜索引擎，实现了智能化主动搜索，使用户更容易找到相关内容网页，提高了搜索引擎的自动化、智能化水平。

主权项

一种网页内容相似度计算方法，利用蜘蛛程序爬取网页、分词，其特征在于：(1)用词频数TF除以所有爬取网页中包含该词的网页数Dt为词权重Wj，Wj＝TF/Dt；(2)从每个网页Pi的标题和正文中，选出前m个词权重Wj最大的词，作为每个网页Pi的代表词组PWi，其中1≤i≤n，n为所爬取的网页数，m≥2，1≤j≤m；(3)计算每个网页Pi的代表词组PWi与其它网页Pk代表词组PWk之间的差异度Dif(k,i)为网页内容差异度，其中k≠i，1≤k≤n；(4)在计算两个网页Pi与Pk内容差异度Dif(k,i)之前，先求两个网页代表词组PWi与PWk的交集PWk∩i＝PWk∩PWi，当交集为空时，直接判定两网页内容不相似，结束计算；(5)如果两个网页代表词组PWi与PWk的交集PWk∩i＝PWk∩PWi不为空计算交集PWk∩i中的词在两个网页代表词组PWk与PWi中的词权重Wj之差的绝对值的和为内容差异度其中Wij为交集PWk∩i中的第j个词在PWi中的词权重Wj，为交集PWk∩i中的第j个词在PWk中的词权重Wj，f为交集PWk∩i中的元素数量；(6)当Dif(k,i)＝0且f＝m时，直接判定两网页Pi与Pk的内容没有差异，结束计算；(7)当Dif(k,i)≠0、f≠m时，其中PWi‑k为网页Pk的代表词组PWk在网页Pi的代表词组PWi中的相对补集为相对补集PWi‑k中的词在网页Pi代表词组PWi中的词权重Wj之和，t为相对补集PWi‑k中的元素数量。