[发明专利]采集资源相关信息的方法、系统及其在搜索引擎中的应用

说明书

技术领域

本发明涉及网络技术领域，特别是涉及采集资源相关信息的方法、系统及其在搜索引擎中的应用。

背景技术

在搜索引擎中，如何通过对搜索结果进行合理的排序，将优质的资源排在靠前的位置，直接影响用户的使用体验。例如，对于音乐搜索引擎，进行排序的重要依据是音频资源的质量，主要包括资源的音质和播放时长，而另外一个很重要的依据是资源的下载、缓冲速度。

这些排序依据与资源的采集方式有很大关系。传统的采集方法是使用庞大的服务器机群进行资源的抓取、分析，得到资源的音质、时长以及速度信息。但是，由于资源的下载、缓冲速度是一种时刻变化的信息，这种服务器端采集的方式很难及时获知资源的速度信息，进而对资源的搜索引擎排序造成影响。

而且，对于专业的音乐搜索引擎，需要对海量的链接进行信息采集，而所述服务器端采集的方式，为了达到足够的处理能力，需要投入大量的服务器。同时，为了获得较高的采集效率，采集设备需要部署在网络环境非常好的机房里。由此，造成采集成本非常大。

发明内容

本发明所要解决的技术问题是提供采集资源相关信息的方法、系统及其在搜索引擎中的应用，以解决传统服务器端采集的方式存在采集不及时、采集成本大的问题。

为解决上述技术问题，根据本发明提供的具体实施例，本发明公开了以下技术方案：

采集资源相关信息的方法，包括：

客户端采集和/或服务器端采集；其中，客户端通过用户触发采集资源的相关信息；服务器端通过获取采集任务采集资源的相关信息。

其中，客户端通过用户触发进行采集包括主动采集，具体包括：用户点击客户端页面；在所述客户端页面嵌入隐藏的播放器，并发送采集请求；根据所述请求分配采集任务；客户端通过页面隐藏的播放器执行采集任务，获取采集任务需要的资源相关信息。

其中，客户端通过用户触发进行采集包括被动采集，具体包括：用户点击客户端页面；所述客户端通过页面嵌入的播放器，采集当前正在播放资源的相关信息。

其中，客户端通过页面播放器采集资源相关信息的步骤包括：通过播放器网页插件提供的应用程序接口获取资源相关信息。

其中，服务器端通过获取采集任务进行采集具体包括：服务器端发起采集请求；根据所述请求分配采集任务；服务器端执行采集任务，获取采集任务需要的资源相关信息。

优选的，所述分配采集任务按照任务优先级进行分配。

其中，所述资源相关信息包括资源的下载速度；所述客户端通过采集资源的比特率、播放时长和下载比例，计算得出下载速度；所述服务器端通过模拟网络协议请求直接采集下载速度。

优选的，所述方法还包括：对采集到的资源相关信息进行处理，得到用于搜索引擎排序的处理结果。

应用于搜索引擎的资源相关信息采集方法，包括：

客户端采集和/或服务器端采集；其中，客户端通过用户触发进行采集，服务器端通过获取采集任务进行采集；提交客户端或服务器端采集到的资源相关信息，所述资源相关信息包括站点级别的资源相关信息；将所述站点级别的资源相关信息，标记为该资源所属站点下所有资源的相关信息。

其中，所述站点级别的资源相关信息包括资源的下载速度。

其中，客户端通过用户触发进行采集包括主动采集，具体包括：用户点击客户端页面；在所述客户端页面嵌入隐藏的播放器，并发送采集请求；根据所述请求分配采集任务；客户端通过页面隐藏的播放器执行采集任务，获取采集任务需要的资源相关信息。

其中，服务器端通过获取采集任务进行采集具体包括：服务器端发起采集请求；根据所述请求分配采集任务；服务器端执行采集任务，获取采集任务需要的资源相关信息。

优选的，当采集站点级别的资源相关信息时，所述根据请求分配采集任务具体包括：以资源所属的站点作为采集对象，将站点下的样本资源作为采集任务分配给请求的客户端或服务器端。

优选的，所述分配采集任务按照任务优先级进行分配；其中，所述优先级是根据站点的热门度和站点包含的资源数进行设置。

其中，客户端通过用户触发进行采集包括被动采集，具体包括：用户点击客户端页面；所述客户端通过页面嵌入的播放器，采集当前正在播放资源的相关信息。

优选的，所述客户端或服务器通过以下方式采集资源的下载速度：所述客户端通过采集资源的比特率、播放时长和下载比例，计算得出下载速度；所述服务器端通过模拟网络协议请求直接采集下载速度。