[发明专利]文字识别模型训练方法、装置、电子设备及存储介质有效
申请号: | 202010566794.3 | 申请日: | 2020-06-19 |
公开(公告)号: | CN111898424B | 公开(公告)日: | 2023-07-21 |
发明(设计)人: | 杨必韬 | 申请(专利权)人: | 贝壳技术有限公司 |
主分类号: | G06V10/96 | 分类号: | G06V10/96;G06V10/94;G06V30/41;G06V30/19;G06V10/82;G06N3/0464;G06N3/084;G06F9/50 |
代理公司: | 北京路浩知识产权代理有限公司 11002 | 代理人: | 苗晓静 |
地址: | 300457 天津市滨海新区经济技术开发*** | 国省代码: | 天津;12 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 文字 识别 模型 训练 方法 装置 电子设备 存储 介质 | ||
1.一种文字识别模型训练方法,其特征在于,包括:
获取用于对文字识别模型进行训练的训练数据;
根据并行处理器的数量对所述训练数据进行分片,得到各数据分片;
将所述各数据分片对应分发至各并行处理器,并将所述文字识别模型发送至各并行处理器,以使各并行处理器利用接收到的数据分片对本地的所述文字识别模型进行训练,以获得初始训练参数;
根据各并行处理器获得的初始训练参数,确定所述文字识别模型的目标训练参数;
根据所述目标训练参数优化所述文字识别模型;
将所述各数据分片对应分发至各并行处理器,并将所述文字识别模型发送至各并行处理器,包括:
将所述各数据分片按照相同的第一指定路径对应分发至各并行处理器,使得各并行处理器存储对应数据分片的路径一致;
将所述文字识别模型按照相同的第二指定路径发送至各并行处理器,使得各并行处理器存储所述文字识别模型的路径一致;
在根据并行处理器的数量对所述训练数据进行分片,得到各数据分片之前,所述方法还包括:
对所述训练数据进行格式转换的预处理操作;
所述训练数据为图片;相应地,对所述训练数据进行格式转换的预处理操作,包括:
根据预设图片缩放比例,对所述图片进行比例缩放,获得训练输入数据;
根据所述图片中包含的文字内容生成字符集字典,并将所述图片中包含的文字内容转换成字符集字典的索引,获得训练标签数据。
2.根据权利要求1所述的文字识别模型训练方法,其特征在于,所述根据各并行处理器获得的初始训练参数,确定所述文字识别模型的目标训练参数,包括:
采用Ring-Allreduce算法对各并行处理器获得的初始训练参数进行处理,确定所述文字识别模型的目标训练参数。
3.根据权利要求2所述的文字识别模型训练方法,其特征在于,所述初始训练参数为各并行处理器利用本地的数据分片对所述文字识别模型进行反向传播计算后得到的梯度参数。
4.根据权利要求1所述的文字识别模型训练方法,其特征在于,在各并行处理器利用接收到的数据分片对本地的所述文字识别模型进行训练时,所述方法还包括:
对于所述文字识别模型的预设指定网络层,在进行卷积训练操作之前,利用1*1的卷积核对所述预设指定网络层进行降维处理。
5.根据权利要求1所述的文字识别模型训练方法,其特征在于,在根据并行处理器的数量对所述训练数据进行分片,得到各数据分片之前,所述方法还包括:
根据预设脏数据集合,对所述训练数据进行数据清洗,以去除所述训练数据中属于所述预设脏数据集合的脏数据。
6.一种文字识别模型训练装置,其特征在于,包括:
获取模块,用于获取用于对文字识别模型进行训练的训练数据;
分片处理模块,用于根据并行处理器的数量对所述训练数据进行分片,得到各数据分片;
并行训练模块,用于将所述各数据分片对应分发至各并行处理器,并将所述文字识别模型发送至各并行处理器,以使各并行处理器利用接收到的数据分片对本地的所述文字识别模型进行训练,以获得初始训练参数;
并行结果处理模块,用于根据各并行处理器获得的初始训练参数,确定所述文字识别模型的目标训练参数;
优化模块,用于根据所述目标训练参数优化所述文字识别模型;
所述并行训练模块,具体用于将所述各数据分片按照相同的第一指定路径对应分发至各并行处理器,使得各并行处理器存储对应数据分片的路径一致;
将所述文字识别模型按照相同的第二指定路径发送至各并行处理器,使得各并行处理器存储所述文字识别模型的路径一致;
预处理模块,用于在根据并行处理器的数量对所述训练数据进行分片,得到各数据分片之前,对所述训练数据进行格式转换的预处理操作;
所述训练数据为图片;
所述预处理模块,具体用于根据预设图片缩放比例,对所述图片进行比例缩放,获得训练输入数据;
根据所述图片中包含的文字内容生成字符集字典,并将所述图片中包含的文字内容转换成字符集字典的索引,获得训练标签数据。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于贝壳技术有限公司,未经贝壳技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202010566794.3/1.html,转载请声明来源钻瓜专利网。
- 上一篇:测量堆石材料吸水量的试验装置及方法
- 下一篇:一种镀金装置及方法