[发明专利]一种问题文本分析模型的训练方法及装置在审
申请号: | 202010848669.1 | 申请日: | 2020-08-21 |
公开(公告)号: | CN114077831A | 公开(公告)日: | 2022-02-22 |
发明(设计)人: | 汪洲;李长亮;汪美玲 | 申请(专利权)人: | 北京金山数字娱乐科技有限公司 |
主分类号: | G06F40/216 | 分类号: | G06F40/216;G06F40/295;G06F40/30;G06F16/35;G06F16/33 |
代理公司: | 北京智信禾专利代理有限公司 11637 | 代理人: | 吴肖肖 |
地址: | 100085 北京市海淀区*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 问题 文本 分析 模型 训练 方法 装置 | ||
1.一种问题文本分析模型的训练方法,其特征在于,包括:
获取训练样本和所述训练样本对应的样本标签,其中,所述训练样本包括问题文本,所述样本标签包括所述问题文本对应的意图标签、关系标签和实体标签;
将所述问题文本输入至问题文本分析模型进行处理,提取所述问题文本的第一特征向量和第二特征向量;
根据所述第一特征向量确定所述问题文本的预测意图和预测关系,根据所述第二特征向量确定所述问题文本的预测实体;
根据所述预测意图、所述预测关系和所述预测实体与所述意图标签、所述关系标签和所述实体标签计算损失值;
根据所述损失值对所述问题文本分析模型进行迭代训练,直至达到训练停止条件。
2.如权利要求1所述的问题文本分析模型的训练方法,其特征在于,根据所述第一特征向量确定所述问题文本的预测意图和预测关系,包括:
根据所述第一特征向量和预设的意图库中的意图类别进行比对,确定所述第一特征向量对应的预测意图;
根据所述第一特征向量和预设的关系库中的关系类别进行比对,确定所述第一特征向量对应的预测关系。
3.如权利要求1所述的问题文本分析模型的训练方法,其特征在于,所述问题文本为二度问题文本;
根据所述第一特征向量确定所述问题文本的预测意图和预测关系,包括:
根据所述第一特征向量和预设的意图库中的意图类别进行比对,确定所述第一特征向量对应的一度预测意图和二度预测意图;
根据所述第一特征向量和预设的关系库中的关系类别进行比对,确定所述第一特征向量对应的一度预测关系和二度预测关系。
4.如权利要求1所述的问题文本分析模型的训练方法,其特征在于,根据所述第二特征向量确定所述问题文本的预测实体,包括:
对所述第二特征向量做命名实体识别处理,获得所述问题文本的预测实体。
5.如权利要求1所述的问题文本分析模型的训练方法,其特征在于,根据所述预测意图、所述预测关系和所述预测实体与所述意图标签、所述关系标签和所述实体标签计算损失值,包括:
根据所述预测意图和所述意图标签计算第一损失值;
根据所述预测关系和关系标签计算第二损失值;
根据所述预测实体和所述实体标签计算第三损失值。
6.如权利要求3所述的问题文本分析模型的训练方法,其特征在于,所述意图标签包括一度意图标签和二度意图标签,所述关系标签包括一度关系标签和二度关系标签;
根据所述预测意图、所述预测关系和所述预测实体与所述意图标签、所述关系标签和所述实体标签计算损失值,包括:
根据所述一度预测意图和所述一度意图标签、所述二度预测意图和所述二度意图标签计算第一损失值;
根据所述一度预测关系和所述一度关系标签、所述二度预测关系和所述二度关系标签计算第二损失值;
根据所述预测实体和所述实体标签计算第三损失值。
7.如权利要求5或6所述的问题文本分析模型的训练方法,其特征在于,根据所述损失值对所述问题文本分析模型进行迭代训练,包括:
联合所述第一损失值、所述第二损失值和所述第三损失值对所述问题文本分析模型进行迭代训练。
8.如权利要求1所述的问题文本分析模型的训练方法,其特征在于,所述训练停止条件包括:所述损失值小于预设阈值或迭代训练的次数到达预设的迭代次数。
9.如权利要求1所述的问题文本分析模型的训练方法,其特征在于,提取所述问题文本的第一特征向量和第二特征向量,包括:
将所述问题文本进行分词处理,得到所述问题文本对应的词单元集合;
对所述词单元集合中的每个词单元做嵌入化处理,获得所述词单元集合对应的词单元向量集合;
将所述词单元向量集合做编码处理,获得所述词单元集合的第一特征向量和第二特征向量。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京金山数字娱乐科技有限公司,未经北京金山数字娱乐科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202010848669.1/1.html,转载请声明来源钻瓜专利网。