[发明专利]一种基于预训练模型的自然语言理解方法在审
申请号: | 202010458292.9 | 申请日: | 2020-05-27 |
公开(公告)号: | CN111611800A | 公开(公告)日: | 2020-09-01 |
发明(设计)人: | 陈晓飞 | 申请(专利权)人: | 杭州电子科技大学 |
主分类号: | G06F40/289 | 分类号: | G06F40/289;G06F40/30 |
代理公司: | 北京华际知识产权代理有限公司 11676 | 代理人: | 李厅 |
地址: | 浙江省杭州市江*** | 国省代码: | 浙江;33 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 基于 训练 模型 自然语言 理解 方法 | ||
1.一种基于预训练模型的自然语言理解方法,其特征在于:具体包括以下步骤:
S1、在使用前先通过预训练模型系统中的词意输入及输出模块来输入各种词语对应的词意,此时数值特征化设定模块会对每一个词语以及对应的词意进行数字编号;
S2、在使用时,语言接收模块会接收到待理解的语言,然后会将语言发送至语意分段系统中的词条分割模块,词条分割模块会对整条语言分割成多个词语,此时词意获取模块会在词典录入模块获取每个词语的词意,此时数值特征化转换模块会将每个词语以及词意按照之前语言的顺序进行排序,然后将每个词语设定对应的数字标号,设定完毕后会将数值标号序列通过数据传输模块发送至预训练模型系统中的特征数值对接模块;
S3、待特征数值对接模块接收到数值标号序列后,数值特征化设定模块对每一个数值标号与之前预设的标号进行匹配对比,在匹配对比完成后,词意输入及输出模块会根据匹配结果按照顺序输出对应的词意,然后语言拼凑模块会将词意拼凑成完整的可理解的预训练语言,并将可理解的预训练语言发送至第一语意微调模块;
S4、在待理解接收语言时,场景对应识别模块会对语言接收场景进行识别,如说话者是大人还是小孩,如使用场景是在何处,语气分析模块会对说话者的语气进行分析,如根据语言确定说话者的情绪,如确定该语言是否时问句,待第一语意微调模块接收到理解后的语言时,第一语意微调模块会根据场景对应识别模块对理解后的语言进行第一次微调,待第二语意微调模块接收到理解后的语言时,第二语意微调模块会根据语气分析模块对理解后的语言进行第二次微调;
S5、待第二次微调完毕后,会将理解后语言发送至数据传输模块,从而数据传输模块会通过语言理解输入模块进行输入,从而机器人就能够对语言进行充分理解。
2.根据权利要求1所述的一种基于预训练模型的自然语言理解方法,其特征在于:所述语言接收模块的输出端与语意分段系统的输入端连接,并且语意分段系统的输出端与数据传输模块的输入端连接,所述预训练模型系统与数据传输模块实现双向连接,所述数据传输模块的输出端与语言理解输入模块的输入端连接。
3.根据权利要求1所述的一种基于预训练模型的自然语言理解方法,其特征在于:所述语意分段系统包括词典录入模块、词条分割模块、词意获取模块和数值特征化转换模块,所述词条分割模块的输出端与词意获取模块的输入端连接,并且词意获取模块的输出端与数值特征化转换模块的输入端连接,所述数值特征化转换模块的输出端与数据传输模块的输入端连接。
4.根据权利要求1所述的一种基于预训练模型的自然语言理解方法,其特征在于:所述词典录入模块与词意获取模块实现双向连接,所述语言接收模块的输出端与词条分割模块的输入端连接。
5.根据权利要求1所述的一种基于预训练模型的自然语言理解方法,其特征在于:所述预训练模型系统包括数值特征对接模块、数值特征化设定模块、词意输入及输出模块、语言拼凑模块、第一语意微调模块、第二语意微调模块、场景对应识别模块和语气分析模块。
6.根据权利要求1所述的一种基于预训练模型的自然语言理解方法,其特征在于:所述数值特征对接模块的输出端与数值特征化设定模块的输入端连接,并且数值特征化设定模块与词意输入及输出模块实现双向连接,所述词意输入及输出模块的输出端与语言拼凑模块的输入端连接,所述语言拼凑模块的输出端与第一语意微调模块的输入端连接。
7.根据权利要求1所述的一种基于预训练模型的自然语言理解方法,其特征在于:所述第一语意微调模块的输出端与第二语意微调模块的输入端连接,所述第二语意微调模块的输出端与数据传输模块的输入端连接,所述数据传输模块的输出端与数值特征对接模块的输入端连接,所述第一语意微调模块与场景对应识别模块实现双向连接,所述第二语意微调模块与语气分析模块实现双向连接。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于杭州电子科技大学,未经杭州电子科技大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202010458292.9/1.html,转载请声明来源钻瓜专利网。