[发明专利]表格模式解析和序列掩码的语言模型预训练方法及系统有效
| 申请号： | 202110210906.6 | 申请日： | 2021-02-25 |
| 公开（公告）号： | CN112559556B | 公开（公告）日： | 2021-05-25 |
| 发明（设计）人： | 徐叶琛 | 申请（专利权）人： | 杭州一知智能科技有限公司 |
| 主分类号： | G06F16/242 | 分类号： | G06F16/242;G06F40/30;G06N20/00 |
| 代理公司： | 杭州求是专利事务所有限公司 33200 | 代理人： | 郑海峰 |
| 地址： | 311200 浙江省杭州市*** | 国省代码： | 浙江;33 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明公开了一种表格模式解析和序列掩码的语言模型预训练方法及系统，属于自然语言处理领域。包括（1）给定自然语言问句、关联表格和目标SQL序列，查找和自然语言问句重叠度最高的单元值；（2）按“自然语言问句、列名、列类型、单元值”的顺序拼接为长序列，加入分隔符和标记符，并进行掩码处理；（3）根据掩码序列预测任务、表格模式解析任务、条件数量预测任务，联合训练语言模型；（4）利用梯度下降算法优化目标函数；（5）训练完毕，保存模型权重参数，该模型可以直接加入到已有的Text2SQL模型中，完成自然语言问句和数据库模式初始化编码。 | ||
| 搜索关键词： | 表格 模式 解析 序列 掩码 语言 模型 训练 方法 系统 | ||
【主权项】：
暂无信息
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于杭州一知智能科技有限公司，未经杭州一知智能科技有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/202110210906.6/，转载请声明来源钻瓜专利网。
- 上一篇：网络会议文件共享方法及系统
- 下一篇：一种基于背景抑制的OCR识别方法
