[发明专利]基于上下文环境实现互联网视听节目提取的方法

说明书

技术领域

本发明涉及互联网技术领域，尤其涉及互联网视听节目信息及播放链接提取领域，具体是指一种基于上下文环境实现互联网视听节目提取的方法。

背景技术

目前现有互联网视听节目的一般提取方法是：对网站的每一类型节目创建一种提取模板，设置提取节目信息的详细元素路径，然后由爬虫根据模板收集页面元素，最后汇总生成视频节目信息。这种方案对于互联网庞大的视听网站数量，每个网站都生成一个提取模板，如果网站改版或更新页面结构，就需要修改相应的爬虫配置模板。

在现有技术下，如果要爬取所有互联网上的视听节目，并形成一致的视听节目表，模板的配置量如同天文数字，加上网站会不停的升级更新，维护这么多数据是不可能完成的任务。

发明内容

本发明的目的是克服了上述现有技术的缺点，提供了一种能够实现在不针对特定网站创建提取模板的情况下、提取所有互联网上网站的视听节目、保证视听节目信息抓取的准确性、具有更广泛应用范围的基于上下文环境实现互联网视听节目提取的方法。

为了实现上述目的，本发明的基于上下文环境实现互联网视听节目提取的方法具有如下构成：

该基于上下文环境实现互联网视听节目提取的方法，其主要特点是，所述的方法包括以下步骤：

（1）加载预定义的视听节目元数据库；

（2）加载需要提取视听节目网站的种子地址；

（3）下载需要提取视听节目网站的网页内容；

（4）判断下载的网页是否为一视听节目的播放页面，如果是，则继续步骤（5），否则继续步骤（6）；

（5）查找该视听节目的上文并生成视听节目单；

（6）根据加载的视听节目元数据库量化该下载的网页内容作为视听节目上文并存入上文集合中。

较佳地，所述的视听节目元数据包括视听节目的导演、主演、演员、发布时间、更新时间和节目梗概。

较佳地，所述的加载需要提取视听节目网站的种子地址，具体为：

从Xml文件或数据库加载需要抓取视听节目网站的种子地址。

较佳地，所述的下载需要提取视听节目网站的网页内容，具体为：

使用Http客户端或爬虫将指定目标网站的指定网页的网页内容从服务器下载到本地。

较佳地，所述的查找该视听节目的上文并生成视听节目单，包括以下步骤：

（51）对该视听节目对应的播放类型进行识别；

（52）从上文集合中查找该视听节目的上文；

（53）合并上文中元数据信息和该下载的网页内容数据信息生成该视听节目的完整记录。

更佳地，所述的对该视听节目对应的播放类型进行识别，具体为：

识别该视听节目对应的播放类型并利用对应的播放器对该视听节目进行验证播放。

较佳地，所述的根据加载的视听节目元数据库量化该下载的网页内容作为视听节目上文并存入上文集合中，包括以下步骤：

（61）判断该网页是否为一视听节目的详细信息页面，如果是，则继续步骤（62），否则继续步骤（3）；

（62）根据视听节目元数据库定义的规则对该网页进行量化并判断该网页是否是一视听节目的上文，如果是，则继续步骤（63），否则继续步骤（64）；

（63）将该网页作为一视听节目的上文并存入上文集合，然后继续步骤（64）；

（64）判断该网页是否为网站的最后一个网页，如果是，则结束退出，否则，继续步骤（65）；

（65）分析该网页的超链接并加入待下载网页队列，然后继续步骤（3）。

采用了该发明中的基于上下文环境实现互联网视听节目提取的方法，具有如下有益效果：

（1）采用视听节目信息特征量化方法，可以规避视听节目信息抓取过程中不必要的干扰，从而能够保证抓取到的视听节目是准确的。

（2）利用视听节目元数据信息的不变性，对于网站布局或者内容的更新，只要实施该方法的增量抓取，可以抓取到网站的最新更新视听节目信息。

（3）利用播放器规则验证，可以确保抓取到的视听节目是可以播放的视听节目。

（4）采用少量的配置，不针对特定的网站，而是通过网页之间的关系能够识别互联网上的视听节目，获得视听节目的基本信息和播放地址，可以在不针对特定网站创建提取模板的情况下，提取所有互联网上网站的视听节目，具有更广泛的应用范围。

附图说明

图1为本发明的基于上下文环境实现互联网视听节目提取的方法的流程图。

具体实施方式