[发明专利]基于BERT-A-BiLSTM的多特征专利自动分类算法

说明书

本发明属于专利自动分类技术领域，具体涉及基于BERT‑A‑BiLSTM的多特征专利自动分类算法，包括BERT‑A‑BiLSTM的多特征分类算法模型构建、实验设计与对比分析，BERT‑A‑BiLSTM的多特征分类算法模型构建包括“文本向量化表示层”、“文本特征提取层”、“输出层”，“文本向量化表示层”将文本数据通过BERT模型转化为深度神经网络可识别的向量形式，“文本特征提取层”由基于BiLSTM和Attention机制的“语义特征提取模块”和基于改进型TF‑IDF算法的“统计特征提取模块”两个模块构成，其最终输出为两个模块单独的输出拼接而成，最后将文本的融合特征输入到由“全连接层加Softmax函数”组合而成“输出层”中得到分类结果。通过实验证明，该算法可以有效地提升专利的分类效果。

技术领域

本发明属于专利自动分类技术领域，具体涉及基于BERT-A-BiLSTM的多特征专利自动分类算法。

背景技术

现有的专利自动分类算法进行文本向量化时大都采用Word2vec、GloVe等静态词向量技术，不能根据上下文的变化动态的改变词向量解决一词多义问题，Word2vec模型训练的词向量不能跟随文本中上下文语境的变化而动态的改变，无法解决一词多义的问题，并且专利摘要文本具有专业领域相关词汇多、文本长度短的特点，仅通过语义特征难以对专利类别进行准确的划分，从而影响整体算法的分类性能。同时，处理专利文本序列数据时，双向长短时记忆神经网络进行文本特征提取，使用最后一个时序输出的结果作为最终特征提取的结果，但该特征难以包含文本的全部信息以导致丢失文本的部分信息，影响最终的分类效果的问题。

发明内容

本发明的目的在于提供基于BERT-A-BiLSTM的多特征专利自动分类算法，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：基于BERT-A-BiLSTM的多特征专利自动分类算法，包括BERT-A-BiLSTM的多特征分类算法模型构建、实验设计与对比分析，其特征在于：所述BERT-A-BiLSTM的多特征分类算法模型构建包括“文本向量化表示层”、“文本特征提取层”、“输出层”，所述“文本向量化表示层”的输入数据中的字符映射为“字向量”，“段向量”，“位置向量”，三个向量输入Transformer编码器中，Transformer编码器由多个“注意力机制层(Multi-Head Attention)”、前馈神经网络层(Feed Forward)和“LayerNormalization层”连接而成，所述“文本特征提取层”由“BiLSTM-Attention的语义特征提取模块”和“CTF-IDF的统计特征提取模块”组成，并通过所述“输出层”进行分类，并通过实验设计，将SVM、Word2vec-BiLSTM、BERT-BiLSTM、BERT、BERT-A-BiLSTM作为对比试验进行对比分析，并通过与SVM、Word2vec-BiLSTM、BERT-BiLSTM、BERT、BERT-A-BiLSTM等算法进行对比试验，分析本发明的优越性。

作为一种优选的实施方式，所述“Multi-Head Attention特征提取”公式为MultiHead(Q,K,V)＝Concat(head₁,...,head_h)W⁰ head_i＝Attention(QW_i^Q,KW_i^K,VW_i^V)，W⁰为head拼接后还原维度的权重矩阵，W_i^Q，W_i^K，W_i^V分别为Q，K，V的权重矩阵，所述“Multi-HeadAttention特征提取”中Attention的计算公式，Q，K，V分别为输入query、key、value向量，d_k为向量的维度。