[发明专利]一种面向金融场景的端到端自然语言处理训练框架与方法在审
| 申请号： | 202111163479.7 | 申请日： | 2021-09-30 |
| 公开（公告）号： | CN113887230A | 公开（公告）日： | 2022-01-04 |
| 发明（设计）人： | 付志兵;张梦超;李渔;费斌杰 | 申请（专利权）人： | 北京熵简科技有限公司 |
| 主分类号： | G06F40/295 | 分类号： | G06F40/295;G06F40/30;G06F16/35;G06K9/62;G06N3/04;G06N3/08;G06Q40/02 |
| 代理公司： | 上海剑秋知识产权代理有限公司 31382 | 代理人： | 徐浩俊 |
| 地址： | 100085 北京市*** | 国省代码： | 北京;11 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明公开了一种面向金融场景的端到端自然语言处理训练框架与方法，涉及自然语言处理领域，所述训练框架包括：Google原生BERT模块、FinBERT预训练模块、基于类似self‑training思想从外部相关数据中挖掘新数据模块、下游任务语料上进行预训练模块、用半监督学习的框架来充分利用无标签语料模块、知识蒸馏模块、线上部署模块。所述训练方法包括以：步骤1、FinBERT预训练；步骤2、基于类似self‑training思想从外部相关数据中挖掘新数据；步骤3、下游任务语料上进行预训练，对所述FinBERT进行再一次预训练，得到的模型称之为TASK FinBERT；步骤4、用半监督学习的框架来充分利用无标签语料，在TASK FinBERT的基础上，训练得到的模型称之为UDA FinBERT；步骤5、蒸馏学习，将学习到的知识和特征蒸馏到轻量级模型上。 | ||
| 搜索关键词： | 一种 面向 金融 场景 端到端 自然语言 处理 训练 框架 方法 | ||
【主权项】：
暂无信息
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于北京熵简科技有限公司，未经北京熵简科技有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/202111163479.7/，转载请声明来源钻瓜专利网。
