[发明专利]基于Transformer网络的文本处理方法及系统在审
| 申请号： | 202211165132.0 | 申请日： | 2022-09-23 |
| 公开（公告）号： | CN115455979A | 公开（公告）日： | 2022-12-09 |
| 发明（设计）人： | 王中风;周晨晨;路思远;林军 | 申请（专利权）人： | 南京大学 |
| 主分类号： | G06F40/30 | 分类号： | G06F40/30;G06F40/289;G06K9/62;G06N3/04;G06N3/08 |
| 代理公司： | 北京弘权知识产权代理有限公司 11363 | 代理人： | 逯长明;朱炎 |
| 地址： | 210023 江苏*** | 国省代码： | 江苏;32 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本申请涉及自然语言处理技术领域，提供一种基于Transformer网络的文本处理方法及系统，在当前次编码计算后，更新一个数据批内每条输入文本的已编码次数，并分别判断每条输入文本是否可以提前退出，以及，分别判断每条输入文本的已编码次数是否达到预设的最大计算层数，如果存在输入文本可以提前退出或已编码次数达到预设的最大计算层数，则用待处理文本更新对应的输入文本，对数据批内的各输入条文本进行下一次编码计算，其中，每次编码计算均采用相同参数的编码器。基于编码器参数的复用，以及对输入文本的循环填充，使得GPU上模型同时处理的文本数量恒定在数据批大小，有效兼容提前退出机制和数据批大小大于1。 | ||
| 搜索关键词： | 基于 transformer 网络 文本 处理 方法 系统 | ||
【主权项】：
暂无信息
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于南京大学，未经南京大学许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/202211165132.0/，转载请声明来源钻瓜专利网。
- 基于Transformer+LSTM神经网络模型的商品销量预测方法及装置
- 一种基于Transformer模型自然场景文字识别方法
- 一种深度Transformer级联神经网络模型压缩算法
- 点云分割方法、系统、介质、计算机设备、终端及应用
- 基于Transformer的中文智能对话方法
- 一种基于改进Transformer模型的飞行器故障诊断方法和系统
- 一种基于Transformer模型的机器翻译模型优化方法
- 基于Transformer和增强交互型MPNN神经网络的小分子表示学习方法
- 基于U-Transformer多层次特征重构的异常检测方法及系统
- 基于EfficientDet和Transformer的航空图像中的飞机检测方法
