[发明专利]基于上下文环境实现互联网视听节目提取的方法

摘要

本发明涉及一种基于上下文环境实现互联网视听节目提取的方法，其中包括加载预定义的视听节目元数据库；加载需要提取视听节目网站的种子地址；下载需要提取视听节目网站的网页内容；判断下载的网页是否为一视听节目的播放页面；对于播放页面，查找该视听节目的上文并生成视听节目单，对于不是播放页面的，根据加载的视听节目元数据库量化该下载的网页内容作为视听节目上文并存入上文集合中。采用该种基于上下文环境实现互联网视听节目提取的方法，实现了在不针对特定网站创建提取模板的情况下，提取所有互联网上网站的视听节目，可以规避视听节目信息抓取过程中不必要的干扰，保证视听节目信息抓取的准确性，具有更广泛的应用范围。

主权项

一种基于上下文环境实现互联网视听节目提取的方法，其特征在于，所述的方法包括以下步骤：(1)加载预定义的视听节目元数据库；(2)加载需要提取视听节目网站的种子地址；(3)下载需要提取视听节目网站的网页内容；(4)判断下载的网页是否为一视听节目的播放页面，如果是，则继续步骤(5)，否则继续步骤(6)；(5)查找该视听节目的上文并生成视听节目单；(6)根据加载的视听节目元数据库量化该下载的网页内容作为视听节目上文并存入上文集合中，包括以下步骤：(61)判断该网页是否为一视听节目的详细信息页面，如果是，则继续步骤(62)，否则继续步骤(63)；(62)根据视听节目元数据库定义的规则对该网页进行量化并判断该网页是否是一视听节目的上文，如果是，则继续步骤(63)，否则继续步骤(64)；(63)将该网页作为一视听节目的上文并存入上文集合，然后继续步骤(64)；(64)判断该网页是否为网站的最后一个网页，如果是，则结束退出，否则，继续步骤(65)；(65)分析该网页的超链接并加入待下载网页队列，然后继续步骤(3)。