[发明专利]一种科技新闻的增量学习多层次二分类方法

说明书

本发明公开了一种科技新闻的增量学习多层次二分类方法，本发明利用新闻属性中的文章标题、文章内容、关键词，结合向量空间模型下的文本加权方法和文本间相似度计算方法，先对标记新闻文档集中的标记信息和全文信息进行预处理和特征加权，存储计算中间结果，之后从特征信息和全文文本两个层次，使用余弦相似度计算新文本与科技新闻分类和非科技新闻分类间的相似度，以此依据判定新文本的分类，多层次判断方法和增量学习方法提高了对科技词汇的敏感度，二分类方法能够减少与科技新闻无关新闻的文本数量，进而提高文本多分类准确性。本发明用于改善从Web网页中抽取新闻信息的使用价值，提高科技新闻的分类准确率。

技术领域

本发明属于Web网页中文本分类领域，特别涉及一种科技新闻的增量学习多层次二分类方法，用于改善从Web网页中抽取新闻信息的使用价值，提高科技新闻的分类准确率。

背景技术

掌握科技新闻对于企业的生存和发展有重要的作用和意义，随着互联网的不断普及，网络成为了科技新闻的主要来源，而网络内容的信息量大、复杂、重复率高和格式不统一是企业收集科技新闻的主要障碍，近年来，针对Web网页中科技新闻的收集得到了越来越高的重视。Web网页新闻是发布科技进步、科研成果最快的途径之一，研究科技新闻分类是属于文本分类问题。研究分类问题一般方法有朴素贝叶斯、决策数、K近邻、支持向量机、神经网络、基于TF-IDF的Rocchio方法等。

2009年到2014年，朱全银等人给出了Web文本处理的办法(李翔, 朱全银. 联合聚类和评分矩阵共享的协同过滤推荐. 计算机科学与探索. 2014. Vol.8(6):751-759；Suqun Cao, Quanyin Zhu, Zhiwei Hou. Customer Segmentation Based on a NovelHierarchical Clustering Algorithm. 2009, p:1-5 (EI:20100412657161)；QuanyinZhu, Sunqun Cao. A Novel Classifier- independent Feature Selection Algorithmfor Imbalanced Datasets. 2009, p:77-82 (EI:20095012543848)； Suqun Cao, ZhiweiHou, Liuyang Wang, Quanyin Zhu. Kernelized Fuzzy Fisher Criterion basedClustering Algorithm. DCABES 2010, p:87-91 (EI:20104413349424)； Quanyin Zhu,Yunyang Yan, Jin Ding, Jin Qian. The Case Study for Price Extracting ofMobile Phone Sell Online. 2011, p:282-285 (EI:20113714318072)； Quanyin Zhu,Suqun Cao, Pei Zhou, Yunyang Yan, Hong Zhou. Integrated Price Forecast basedon Dichotomy Backfilling and Disturbance Factor Algorithm. InternationalReview on Computers and Software, 2011, Vol.6(6):1089-1093. (EI:20121814977597)； Suqun Cao, Gelan Yang, Quanyin Zhu, Haihei Zhai. A novelfeature extraction method for mechanical part recognition. Applied Mechanicsand Materials, 2011, p:116-121 (EI:20113814354316)； Pei Zhou, Quanyin Zhu.Multi-factor Matching Method for Basic Information of Science and TechnologyExperts Based on Web Mining. 2012, P:718-720 (EI：20123915469307)； JianpingDeng, Fengwen Cao, Quanyin Zhu, Yu Zhang. The Web Data Extracting andApplication for Shop Online Based on Commodities Classified. Communicationsin Computer and Information Science, Vol.234(4):120-128(EI:20113814340383)；Hui Zong, Quanyin Zhu, Ming Sun, Yahong Zhang. The case study for humanresource management research based on web mining and semantic analysis.Applied Mechanics and Materials, Vol.488, 2014 p:1336-1339 (EI:20140517249044))。