[发明专利]新发布的站点收录方法和装置

说明书

技术领域

本发明涉及互联网应用技术领域，特别是涉及一种新发布的站点收录方法和装置。

背景技术

在计算机领域，站点(site)是指物理上具有较好的线路连接的能实现较快通信速率的计算机的集合(一般是指一个局域网)，站点之间一般是通过慢速连接来实现信息通信(一般是指广域网)，即站点是对网上计算机的实际的物理分布的一种客观反映。

随着互联网业务的发展，互联网的更新速度极快，每天甚至数小时或数分钟均可能存在着新站点的“诞生”，对于搜索引擎而言及时收录新站点是一项基本的要求。相关技术中，新站点启用时可以通过其他网页的超链链接出来。然而，存在一部分站点只是通过新闻报道、发帖、发微博等方式提及新站点已启用。如图1所示的新闻报道，报道中提及的新站点cloud.360.cn在上线时很长时间内无法找到包含其的超链关系，此时无法通过传统网页超链方式来收录该新站点，需要通过手工的方式收录，而人工参与具有滞后性。

因此，如何及时、有效地收录那些无法通过传统网页超链方式来收录的新站点，成为目前亟需解决的技术问题。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的新发布的站点收录方法和相应的装置。

依据本发明的一个方面，提供了一种新发布的站点收录方法，包括：判断网页是否为时效性网页；解析判断为时效性网页中的时效性内容，获取其中包含的其他站点信息，其中，所述其他站点信息与所述时效性网页的站点信息不同；验证所述其他站点信息是否对应为新发布的站点，如果是，则将所述其他站点信息对应的站点作为新发布的站点进行收录。

可选地，所述判断网页是否为时效性网页，包括：根据所述网页的网页发布时间和/或前链网页信息确认所述网页是否为时效性网页。

可选地，所述解析判断为时效性网页中的时效性内容，获取其中包含的其他站点信息，包括：解析所述时效性网页的页面内容部分和/或超链部分；获取所述页面内容部分中提及的站点信息，和/或，所述超链部分的站点信息。

可选地，所述解析判断为时效性网页中的时效性内容之后，获取其中包含的其他站点信息之前，还包括：所述时效性网页的网页为多个时，根据每个网页的内容确定每个网页的质量，其中，所述网页包含的有效内容与所述网页的质量成正比；选择质量超过指定阈值的多个网页；在选择的多个网页中获取其中包含的其他站点信息。

可选地，所述时效性内容包括下列至少之一：

标题；

正文；

相关链接。

可选地，验证所述其他站点信息是否对应为新发布的站点，包括：解析所述其他站点信息，得到域名信息；判断所述域名信息是否之前已被收录；若否，则确认所述其他站点信息对应的站点为新发布的站点；若是，则确认所述其他站点信息对应的站点不为新发布的站点。

可选地，验证所述其他站点信息是否对应为新发布的站点，包括：解析所述其他站点信息，查找互联网协议IP信息；若所述其他站点信息具有IP，且搜索引擎中未收录过所述其他站点信息，则验证所述其他站点信息对应的站点为新发布的站点。

依据本发明的另一个方面，还提供了一种新发布的站点收录装置，包括：

判断模块，适于判断网页是否为时效性网页；

获取模块，适于解析判断为时效性网页中的时效性内容，获取其中包含的其他站点信息，其中，所述其他站点信息与所述时效性网页的站点信息不同；

验证模块，适于验证所述其他站点信息是否对应为新发布的站点；

收录模块，适于如果验证模块的验证结果为是，则将所述其他站点信息对应的站点作为新发布的站点进行收录。

可选地，所述判断模块还适于：根据所述网页的网页发布时间和/或前链网页信息确认所述网页是否为时效性网页。

可选地，所述获取模块还适于：解析所述时效性网页的页面内容部分和/或超链部分；获取所述页面内容部分中提及的站点信息，和/或，所述超链部分的站点信息。

可选地，所述获取模块还适于：所述时效性网页的网页为多个时，根据每个网页的内容确定每个网页的质量，其中，所述网页包含的有效内容与所述网页的质量成正比；选择质量超过指定阈值的多个网页；在选择的多个网页中获取其中包含的其他站点信息。

可选地，所述时效性内容包括下列至少之一：

标题；

正文；

相关链接。