[发明专利]自然语言处理方法、装置、计算机设备和存储介质有效
申请号: | 202010065067.9 | 申请日: | 2020-01-20 |
公开(公告)号: | CN111274824B | 公开(公告)日: | 2023-05-05 |
发明(设计)人: | 赵维真;礼慧;王德华;郭萌 | 申请(专利权)人: | 文思海辉智科科技有限公司 |
主分类号: | G06F40/30 | 分类号: | G06F40/30;G06F9/455 |
代理公司: | 北京华进京联知识产权代理有限公司 11606 | 代理人: | 任少瑞 |
地址: | 102200 北京市昌平区未来科*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 自然语言 处理 方法 装置 计算机 设备 存储 介质 | ||
1.一种自然语言处理方法,所述方法包括:
接收上传的用户意图信息,所述用户意图信息包括已标注上下文以及所述已标注上下文对应的领域;
根据所述已标注上下文的领域确定目标模型组件;
初始化所述目标模型组件后,对所述已标注上下文进行数量分类,得到多组的训练上下文;
利用所述已标注上下文对所述目标模型组件进行意图训练,得到所述已标注上下文对应的第一初始模型;
利用各所述训练上下文分别对所述目标模型组件进行意图训练,得到各所述训练上下文对应的第二初始模型;
当存在性能优于所述第一初始模型的第二初始模型时,从所述已标注上下文中获取与所述第二初始模型的训练上下文的差异上下文;
利用所述差异上下文迭代训练所述第一初始模型,得到自然语言处理模型;
接收与所述已标注上下文的领域相同的待处理上下文,利用所述自然语言处理模型对所述待处理上下文进行自然语言处理。
2.根据权利要求1所述的方法,其特征在于,所述目标模型组件的生成方法,包括:
获取目标组件,并确定所述目标组件的调用顺序;
根据所述调用顺序将所述目标组件进行组合,得到初始模型组件;
对所述初始模型组件进行基础训练,得到目标模型组件。
3.根据权利要求1所述的方法,其特征在于,所述利用所述自然语言处理模型对所述待处理上下文进行自然语言处理,包括:
根据自定义词典对所述待处理上下文进行分词,得到待处理字词;
利用所述自然语言处理模型的词向量组件,获取所述待处理字词的词向量;
基于所述词向量,利用所述自然语言处理模型的分类组件和命名实体识别组件分别对所述待处理上下文进行文本分类和命名实体识别。
4.根据权利要求1所述的方法,其特征在于,所述方法还包括:
将所述自然语言处理模型虚拟化部署到虚拟容器中;
所述虚拟容器接收对所述自然语言处理模型的访问;所述虚拟容器的数量根据所述访问的数量动态增加。
5.根据权利要求1所述的方法,其特征在于,所述方法还包括:
将所述自然语言处理模型持久化至云端存储,由所述云端接收对所述自然语言处理模型的访问。
6.根据权利要求5所述的方法,其特征在于,将所述自然语言处理模型持久化至云端存储,包括:
利用持久化接口将所述自然语言处理模型的结构以及各节点权重导出至指定的文件中;
将所述文件存储至云端。
7.一种自然语言处理装置,其特征在于,所述装置包括:
接收模块,用于接收上传的用户意图信息,所述用户意图信息包括已标注上下文以及所述已标注上下文对应的领域;
确定模块,用于根据所述已标注上下文的领域确定目标模型组件;
训练模块,用于初始化所述目标模型组件后,对所述已标注上下文进行数量分类,得到多组的训练上下文;利用所述已标注上下文对所述目标模型组件进行意图训练,得到所述已标注上下文对应的第一初始模型;利用各所述训练上下文分别对所述目标模型组件进行意图训练,得到各所述训练上下文对应的第二初始模型;当存在性能优于所述第一初始模型的第二初始模型时,从所述已标注上下文中获取与所述第二初始模型的训练上下文的差异上下文;利用所述差异上下文迭代训练所述第一初始模型,得到自然语言处理模型;
处理模块,用于接收与所述已标注上下文的领域相同的待处理上下文,利用所述自然语言处理模型对所述待处理上下文进行自然语言处理。
8.根据权利要求7所述的装置,其特征在于,所述装置还包括:
生成模块,用于获取目标组件,并确定所述目标组件的调用顺序;根据所述调用顺序将所述目标组件进行组合,得到初始模型组件;对所述初始模型组件进行基础训练,得到目标模型组件。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于文思海辉智科科技有限公司,未经文思海辉智科科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202010065067.9/1.html,转载请声明来源钻瓜专利网。