[发明专利]一种视频内容及内容源爬取方法

说明书

技术领域

本发明涉及互联网领域，特别涉及到互联网内容爬取或缓存替换方法，具体涉及一种视频内容及内容源爬取方法。

背景技术

随着互联网中多媒体服务业务的日益增长，多媒体内容从中心内容管理系统到边缘内容交付系统的合理、高效、快速部署成为当前内容运营的一大挑战。

为了提高多媒体内容快速发布及响应，现有的方法是采用CDN或P2P技术。CDN将内容部署到靠近用户的服务节点，在用户请求内容时，使用缓存及重定向等技术为用户提供高效服务。P2P是将客户端已经存在的内容能向其他客户端提供服务。但这两种技术都受限于节点数或用户数的数量，在少量节点数或用户数情况下，两种技术基本起不到加速作用。

而中国第CN200810104585号专利公开了一种用于互联网络上的数字媒体内容进行发布的方法，虽该方法提供了可靠且高效的内容发布方法，其重点解决可靠性，公开的内容发布方法并没有考虑用户端的请求，与本专利公开的方法完全不同。中国第CN200810048703号专利公开了一种媒体发布网络中的发布内容控制方法，该方法重点解决发布过程中的数字知识产权的保护。

发明内容

本发明要的目的在于，为克服上述问题本发明提供了一种视频内容及内容源爬取方法。

为实现上述目的，本发明提供了一种视频内容爬取方法，所述方法包含：

步骤101）为每类视频内容设定初始爬取周期，按设定的爬取周期从内容源爬取内容并缓存；

步骤102）根据每类视频内容的内容热度和内容源的内容更新率动态调整其爬取周期，并依据更新后的爬取周期对内容源进行内容爬取和缓存；

其中，所述动态调整爬取周期的原则为：当某类视频内容的本地热度增高或内容源更新率增高时，就缩短该类视频内容的爬取周期；而当某类视频内容的本地热度降低或内容源更新率降低时，则增大该类视频内容的爬取周期。

上述步骤101）之前还包含如下步骤：

并行从各个内容源上爬取元信息，基于元信息并根据视频的内容主题、内容名称或内容标签将视频内容对视频进行分类。

上述步骤102）进一步包含如下子步骤：

步骤102-1）在当前设定的爬取周期内，统计所有类视频内容的本地访问请求次数，当在某段设定时间内某类视频内容的访问请求次数高于第一设定阈值时，缩短该类视频内容当前设定的爬取周期；当在某段设定时间段内对某类视频内容的访问请求次数小于第二设定阈值时，增大为该类视频内容设定的爬取周期；

步骤102-2）在一定的周期内，统计所有类视频内容的内容源更新率，当更新率高于第三设定阈值时，缩短爬取周期；当更新率低于第四设定阈值时，增大爬取周期。

上述缩短或增大的爬取周期的增量值ΔT为：

ΔT＝-αΔAccessed-βΔUpdated+γ

其中，ΔAccessed表示统计得到的上个爬取周期内此类内容访问率，ΔUpdated表示统计得到的上个周期内容源更新率，α、β和γ为调整倍率因子。

上述述调整倍率因子的取值结合实际的业务确定。

基于调整更新周期的策略，本发明还提供了一种并行内容源爬取方法，所述方法包含：

步骤201)设定各内容源的初始爬取周期；

步骤202）按初始设定周期进行内容源的元数据爬取；

步骤203）计算内容源的内容更新率；

步骤204）依据更新率调整设定的爬取周期，即：当内容源更新率增高时，缩短其爬取周期；当内容源更新率降低时，增大其爬取周期。

上述更新率的获取方式为：将新爬取的元数据与本地已缓存的元数据进行比较，得出周期内容源的内容更新数，对周期进行归一，得出更新率。

本发明的有益效果在于：

1．根据内容被用户点播的热度以及内容源端更新速度动态调整节目的更新周期，合理保证缓存节点内容与内容源的内容一致性，提高本地内容的请求命中率；

2．减少不必要的爬取流量，提高了内容爬取流量的有效性，即本发明在不提高爬取流量的情况下，提高内容的请求命中率。

总之，本发明的技术方案从多个内容源（如互联网视频网站）有效地爬取内容，缓存在本地，并为本地用户提供视频服务，在不提高爬取流量的情况下，提高内容的请求命中率。

附图说明

下面结合附图对本发明做进一步详细的说明。

图1是本发明提供的多个内容源的视频内容按类爬取方法工作示意图；

图2是本发明提供的按内容源爬取方法工作流程图；