[发明专利]一种模型训练方法、装置、电子设备及其存储介质在审
申请号: | 202110040360.4 | 申请日: | 2021-01-13 |
公开(公告)号: | CN113807494A | 公开(公告)日: | 2021-12-17 |
发明(设计)人: | 李银锋;孔滕滕;田俊文;周彬;李晓敏;晏梦佳 | 申请(专利权)人: | 北京沃东天骏信息技术有限公司;北京京东世纪贸易有限公司 |
主分类号: | G06N3/04 | 分类号: | G06N3/04;G06N3/08;G06F40/279;G06Q30/06 |
代理公司: | 北京德琦知识产权代理有限公司 11018 | 代理人: | 郑红娟;宋志强 |
地址: | 100083 北京市海淀区杏石口路6*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 模型 训练 方法 装置 电子设备 及其 存储 介质 | ||
本发明公开了一种模型训练方法、装置、电子设备及其存储介质。该方法包括:接收预处理后的训练样本;根据预处理后的所述训练样本通过预置的训练模型网络按照预定替换方式将预置的至少一个卷积层替换部分所述训练模型网络的对应网络层进行训练得到训练后的卷积层;通过训练后的卷积层部署替换对应所述网络层得到训练模型。通过卷积层替换神经网络中的网络层,训练得到由卷积层建构的训练模型,简化神经网络的复杂程度,进而提高工作效率和响应时长的技术问题。
技术领域
本发明涉及计算机领域,尤其是指一种模型训练方法、装置、电子设备及其存储介质。
背景技术
目前,在很多场景和领域中都可以通过人工智能深度学习的方式代替原有效率更低工作方式,但是在现有技术中仍然存在一些情况,即便采用了现有技术中人工智能深度学习的方式,也会出现相应慢的情况。比如,随着网络信息时代的发展,电商平台各项功能日益完善,很多商家也开始由线下转为线上,现在网上购物已成为我们日常生活的一部分。为了吸引消费者购买商品,很多商家会给商品打一些促销语,这些促销语展现在商品的详情页上。然而很多促销语并不符合电商平台规范,甚至是违反广告法的。如促销语中含有“最新科学”、“最新技术”、“最先进加工工艺”等绝对化的描述,含有“安全”、“无毒副作用”、“无依赖”、“无效退款”、“XX保险公司保险”等承诺性内容。为了提高商品信息的精准度,更好地规范商家发布商品信息的行为,给广大的网络消费者营造一种健康良好的电商平台生态。电商平台会组织专门的审核人员,对商品促销语合规性进行人工检测,对不符合平台规范促销语的商品,做下架处理。
在人工智能领域,自Bert问世以来,就引起了自然语言处理领域的广泛关注,在多项NLP任务中取得了卓越的成绩。同时也开源了很多不同大小的Bert预训练模型,如12层、10层的Bert,但是由于12层或者10层的网络模型在处理时还是过于复杂,导致最终的模型运算时还是出现效率低、响应时间慢等问题。
所以本领域技术人员致力于寻找一种模型训练方法,以有助于解决现有技术中训练模型由于神经网络层数过多,导致工作效率低、响应慢的技术问题。
发明内容
本申请提供了一种模型训练方法,其目的在于,通过卷积层替换神经网络中的网络层,训练得到由卷积层建构的训练模型,简化神经网络的复杂程度,进而提高工作效率和响应时长的技术问题。
该方法包括:
接收预处理后的训练样本;
根据预处理后的所述训练样本通过预置的训练模型网络按照预定替换方式,将预置的至少一个卷积层替换部分所述训练模型网络的对应网络层进行训练得到训练后的卷积层;
通过训练后的卷积层部署替换对应所述网络层得到训练模型。
在一实施例中,所述接收预处理后的训练样本包括:
获取待训练的文本训练样本;
按预定删除方式删除所述文本训练样本中的非文字字符;
对删除所述非文字字符的所述文本训练样本模型添加索引编码和字符向量得到文本向量,其中,所述索引编码用于描述所述文本训练样本中字符的内容,所述字符向量用于描述所述文本训练样本中字符的顺序;
对所述文本向量进行归一化处理得到输出向量完成对所述训练样本的预处理。
在一实施例中,所述根据预处理后的所述训练样本通过预置的训练模型网络按照预定替换方式,将预置的卷积层替换部分所述训练模型网络的对应网络层进行训练得到训练后的卷积层包括:
将预置的至少一个卷积层与训练模型网络中不同部分的网络层建立对应关系;
根据预处理后的所述训练样本通过预置的训练模型网络按照随机替换方式将预置的卷积层替换部分所述训练模型网络中对应的网络层进行训练得到训练后的卷积层。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京沃东天骏信息技术有限公司;北京京东世纪贸易有限公司,未经北京沃东天骏信息技术有限公司;北京京东世纪贸易有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110040360.4/2.html,转载请声明来源钻瓜专利网。