[发明专利]基于MD5三叉树和改进BIRCH算法的互联网论文数据自动抽取算法

说明书

本发明提供了一种基于MD5三叉树和改进BIRCH算法的互联网论文数据自动抽取算法，该方法包括：从所需要抽取出互联网论文数据的网站中抓取数据，进行页面清洗与预处理，基于MD5三叉树进行站内静态噪音去除，基于节点间相似度进行页间动态噪音去除，融合DBSCAN密度聚类算法对样本点数据进行密集区域与稀疏区域的划分，融合密度因素构建ACF树，修正密集区域与稀疏区域生成ACF森林，基于改进BIRCH算法进行字段单元构建，将得到的字段单元通过字段匹配与页面内容提取方法对字段单元和字段进行匹配，从而得到所需要提取的网页数据。本发明噪音去除技术更优，字段单元构建与字段匹配更高效，能有效解决互联网论文数据自动抽取问题。

技术领域

本发明属于数据采集技术领域，特别是一种基于MD5三叉树和改进BIRCH算法的互联网论文数据自动抽取算法。

背景技术

自2012年以来，“大数据”一词已经广为人知，世界逐步开始了“大数据时代”。随着我国进入科技发展的上升期，信息流通速度加快，使得无论在学术界、政府还是企业中，都开始了一场将庞杂的数据资源进行量化的革命，最直观的结果就是ZB量级的到来。其中，信息量占比、信息密度最大的领域就是互联网。大量的互联网网页已经成为了如今规模最大的数据信息源，并为需求者提供了方便、快捷的信息获取平台。通过分析网页中的数据，得到独家信息，可以构建知识图谱、生成人物画像、进行精准推荐等任务，所以数据的获取显得尤为重要，尤其是在学术领域。

近年来，发表在各大期刊、会议上的论文数量呈几何式增长，通过大数据分析论文作者、所属机构、研究领域等之间的关系，有利于同等领域内学者的交流，促进研究的进一步发展。如今学术研究者极其重视的信息被称为“学术领域信息”，对学术领域信息进行深入挖掘并构建相关知识图谱、学术网络，对学术界的学科发展和研究工作有重大价值，因此就需要对大量论文页面中的学术范畴信息进行采集和保留。互联网科技数据信息抽取是采集不同期刊的论文发表页面，对学术领域信息再进行深层次的数据挖掘，或构建知识图谱，发现潜在的数据价值。但是由于网页的多样性，不同站点下的页面结构通常是不一样的，这样数据采集开发人员在进行信息抽取时，需要针对该网页结构编写一套特定的页面解析函数，用于在该站点下的网页中抽取相同模块之间的信息。人工的干预不仅仅浪费人力资源，而且在网站网页模板变更时，还需要相关的人员去维护。因此，寻求一种自动化网页信息抽取技术是十分迫切且必要的。

发明内容

本发明针对上述现有技术中的缺陷，提出一种基于MD5三叉树和改进BIRCH算法的互联网论文数据自动抽取算法。该方法包括从所需要抽取出互联网论文数据的网站中抓取数据，进行页面清洗与预处理，基于MD5三叉树进行站内静态噪音去除，基于节点间相似度进行页间动态噪音去除，融合DBSCAN密度聚类算法对样本点数据进行密集区域与稀疏区域的划分，融合密度因素构建ACF树，修正密集区域与稀疏区域生成ACF森林，基于改进BIRCH算法进行字段单元构建，将得到的字段单元通过字段匹配与页面内容提取方法对字段单元和字段进行匹配，从而得到所需要提取的网页数据。本发明噪音去除技术更优，字段单元构建与字段匹配更高效，能有效解决互联网论文数据自动抽取问题。

本发明提供一种基于MD5三叉树和改进BIRCH算法的互联网论文数据自动抽取算法，所述方法包括以下步骤：

S1、数据抓取：从所需要抽取出互联网论文数据的网站中抓取到页面的HTML代码，并将其存储在本地数据库；

S2、页面清洗与预处理：删除页面注释、无用标签、空节点，合并文字内容，使得页面内有效文本内容均以行为单位居中于页面中央；

S3、基于MD5三叉树进行站内静态噪音去除：将经过清洗与预处理的页面采用基于MD5三叉树的站内静态模板噪音清除算法，去除静态噪音数据；

S4、基于节点间相似度进行页间动态噪音去除：将去除静态噪音的页面采用基于节点间相似度的页间噪音清除算法，去除动态噪音数据；