[发明专利]一种网络新闻概要提取方法

摘要

本发明提供了一种网络新闻概要提取方法，首先获取网络新闻，对网络新闻中的文字基于中文词汇链提取关键词，基于深度学习算法进行图片分类；建立新闻ID，新闻入库；新闻对比。本发明根据网络新闻中的文字信息提取关键摘要并对新闻图片进行分类，形成新闻ID，实现了一篇新闻对应一项新闻ID，极大降低了系统的存储要求，提高了存储效率。通过所提及的新闻库的不断实时更新以及提供的快速查询与添加等功能，提高了检索新闻的效率，极大降低了工作人员查看、评价新闻的工作量，起到了有效的新闻甄别辅助工作。

主权项

1.一种网络新闻概要提取方法，其特征在于，包括以下步骤：(1)获取网络新闻；(2)对网络新闻中的文字基于中文词汇链提取关键词；(2.1)设定抽取关键词个数k，词语相似度阈值δ，特征频率阈值ε；(2.2)预处理文档集，包括分词、词性标注和词过滤，并对每个词的特征频率TF和文档频率DF进行统计；(2.3)选择文本中预处理后的词w₁,w₂,..,w_n作为候选词汇集，并取w₁构建初始词汇链L₁；对于未被《同义词词林》收录的词汇，但特征频率TF大于特征频率阈值ε的词单独归为词汇链L₀；(2.4)对候选词汇集的词w_i(i∈[2,n])依次进行提取，构建词汇链L_i，依次计算它与除词汇链L₀之外的词汇链L_i(i∈[2，n])的语义扩展度exp(w_i,L_j)，该词与某词汇链L_j中所有词的语义扩展度最大值作为该词汇链的扩展度S(w_i,L_j)；然后对每个S(w_i,L_j)进行比较，选取其中的最大值作为该词与所有词汇链的语义扩展度exp(w_i,L)，即式中，n_j为词汇链L_j中包含词汇的个数；m为词汇链的条数；w_jk为词汇链L_j中第k个词汇；词汇间语义扩展度exp(w_i,L_j)，exp(w_i,L_j)表示词汇w_i与词汇链L_j的语义扩展度；(2.5)将语义扩展度exp(w_i,L_j)的最大值和预设的词语相似度阈值δ作比较，如果exp(w_i,L_j)的最大值大于δ，就把词w_i加入到对应的词汇链L_j中；如果语义扩展度exp(w_i,L_j)最大值小于δ，就创建一个新词汇链，并把词w_i加入到该新建的词汇链中；(2.6)对全部候选词汇依次进行计算，重复步骤(2.4)到步骤(2.6)，直到全部词汇计算完毕；(3)基于深度学习算法进行图片分类；首先，采集图像，对获取的图像进行标注，构建卷积神经网络结构，将标注好的图像送至构建的卷积神经网络中，进行训练；输出新闻分类结果；(4)建立新闻ID，新闻入库；(5)新闻对比；(5.1)用户输入需要搜索的相似新闻个数K以及输入待对比且未录入新闻库的一则新闻；(5.2)经过步骤(2)、(3)、(4)，建立待对比且未录入新闻库的一则新闻的新闻ID，并入库；根据该新闻的图片，利用基于深度学习的图片分类中的soft‑max函数输出K个由高到低的函数值，对应于该新闻相似程度由高到低的K个新闻，输出K个新闻的新闻ID；(5.3)对输出K个新闻的新闻ID进行判断，若为同一类则输出所述的K个新闻作为相似新闻，若不是同一类，则重复步骤(5.2)。