[发明专利]基于层注意Transformer网络的长文档分类方法在审
| 申请号： | 202110861311.7 | 申请日： | 2021-07-29 |
| 公开（公告）号： | CN113723458A | 公开（公告）日： | 2021-11-30 |
| 发明（设计）人： | 胡永利;陈普满;刘腾飞;尹宝才;孙艳丰 | 申请（专利权）人： | 北京工业大学 |
| 主分类号： | G06K9/62 | 分类号： | G06K9/62;G06N3/04;G06F16/35 |
| 代理公司： | 北京思海天达知识产权代理有限公司 11203 | 代理人： | 沈波 |
| 地址： | 100124 *** | 国省代码： | 北京;11 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明公开了基于层注意Transformer网络的长文档分类方法，步骤一：提取节级别特征；步骤二：节特征之间的交互；步骤三：获取文档的最终表示；步骤四：长文档分类；在验证和测试集方面，提出的HATN网络模型在F1分数下的所有数据集上都优于所有基线，说明的模型能够捕获文档的长时依赖以及实现不同节之间的更高级别的特征交互，从而提高了文档分类的性能。此外，长文档分类模型MLP over SciBERT、LSTM over SciBERT、Longfromer和HATN比传统方法性能更好，这个结果说明得益于注意力和大量的语料库，预训练语言模型对于文档分类的优越性。HATN模型在所有数据集上都得到了一致的改进，证实了该方法的有效性，因为文档的结构信息和层次交互网络带来了改进。 | ||
| 搜索关键词： | 基于 注意 transformer 网络 文档 分类 方法 | ||
【主权项】：
暂无信息
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于北京工业大学，未经北京工业大学许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/202110861311.7/，转载请声明来源钻瓜专利网。
- 基于Transformer+LSTM神经网络模型的商品销量预测方法及装置
- 一种基于Transformer模型自然场景文字识别方法
- 一种深度Transformer级联神经网络模型压缩算法
- 点云分割方法、系统、介质、计算机设备、终端及应用
- 基于Transformer的中文智能对话方法
- 一种基于改进Transformer模型的飞行器故障诊断方法和系统
- 一种基于Transformer模型的机器翻译模型优化方法
- 基于Transformer和增强交互型MPNN神经网络的小分子表示学习方法
- 基于U-Transformer多层次特征重构的异常检测方法及系统
- 基于EfficientDet和Transformer的航空图像中的飞机检测方法
