[发明专利]一种基于文本上下文结构和属性信息叠加网络的报刊新闻分类方法

说明书

该发明公开了一种基于文本上下文结构和属性信息叠加网络的报刊新闻分类方法，属于信息处理领域。本发明使用文本向量表征方法将不定长度的文本转化为固定长度的向量避免了文本信息的丢失和冗余；从训练数据的角度来说，采用加权随机采样，通过权重调节样本被选择的可能性，优化训练样本的构成；从特征提取的角度来说，本文不仅考虑到上下文结果信息同时也兼顾文本属性信息，优化特征提取过程。本发明不仅改进了文本特征的提取方式，还额外地将属性特征纳入特征构建的过程中。使用文本向量表征方法将不定长度的文本转化为固定长度的向量避免了文本信息的丢失和冗余，优化了文本特征的提取方式；额外添加了新闻的特征信息，丰富了特征的来源。

技术领域

本发明属于信息处理领域，涉及一种基于文本上下文结构信息和属性信息叠加网络的新闻分类方法和系统。

背景技术

关键术语定义：

神经网络：是一种模仿生物神经网络的结构和功能的数学模型或计算模型，用于对函数进行估计或近似。神经网络由大量的人工神经元联结进行计算。大多数情况下人工神经网络能在外界信息的基础上改变内部结构，是一种自适应系统。

文本表征：是自然语言处理领域中将文本这一高层认知抽象实体映射为实数域上向量，以便于后续计算机处理的一种机器学习技术。

加权随机抽样：是一种根据样本权重确定样本抽样概率的抽样技术,该技术可以从采样的层面有效解决样本类别分布不平衡的问题。

报刊是一种通过利用纸张传播文字资料的一种传播媒体。它的主要作用包括解释、宣传以及形象维护，比如《人民日报》就是维护国家的形象，《解放军报》就是维护部队的形象，《企业报》就是维护企业形象。

一般来说，一期报刊中有若干条新闻。对于报刊中的某一条新闻来说，能否成为该报刊当日的头版新闻与这条新闻中蕴含信息量的多少息息相关。结合当前的自然语言处理技术来看，直接定量刻画一篇文本新闻中的信息量仍是困难的。于是，对“某篇新闻是否为头版新闻”这个二分类“黑盒”问题(下文简记为“报刊新闻分类问题”)，用同为“黑盒”的神经网络去解决是一种直接、高效的选择。

随着AlexNet的成功，神经网络的研究进入了新阶段。现阶段的文本分类技术主要使用神经网络作为技术手段，充分挖掘文本的结构信息，并基于这一特征信息进行分类。在文本分类领域，TextCNN，TextRNN，FastText，TextRCNN等算法相继提出，分别从卷积神经网络和循环神经网络的角度对文本进行特征提取，这些算法在多个测试数据集上表现优异。

现有技术的缺点：

TextCNN，TextRNN，FastText，TextRCNN等算法虽然许多公开文本分类测试数据集上表现优异，但是由于报刊新闻的特殊性，上述算法无法有效解决报刊新闻分类问题。具体来说包括一下几点：首先，报刊中新闻的长度是不确定的，并且新闻的长度与新闻的重要程度没有直接相关的联系，上述技术手段大多限定文本的输入长度，需要对输入文本进行截断或填充操作，这可能导致提取的特征存在缺失或冗余。同时，由于报刊新闻的特殊性，报刊新闻分类问题的两个类别的数据是明显有偏的，即存在头版新闻数远少于非头版新闻数的情况。使用有偏数据直接训练出的分类方法往往也是偏的，即分类方法有更大概率将新闻分类为非头版新闻。最后，对于报刊新闻来说，虽然能否成为头版新闻最主要的原因是新闻文本上下文之间蕴含的信息量，但是由于头版版面和后期排版的限制，某些过长或过短的新闻难以成为头版新闻。之前的技术手段大多只考虑了文本上下文结构信息，而忽略了诸如“标题长度”，“文本长度”等文本属性信息，造成特征缺失。

发明内容