[发明专利]文字识别模型训练方法、装置、电子设备及存储介质

说明书

本发明实施例提供了一种文字识别模型训练方法、装置、电子设备及存储介质，方法包括：获取用于对文字识别模型进行训练的训练数据；根据并行处理器的数量对所述训练数据进行分片，得到各数据分片；将所述各数据分片对应分发至各并行处理器，并将所述文字识别模型发送至各并行处理器，以使各并行处理器利用接收到的数据分片对本地的所述文字识别模型进行训练，以获得初始训练参数；根据各并行处理器获得的初始训练参数，确定所述文字识别模型的目标训练参数；根据所述目标训练参数优化所述文字识别模型。本发明实施例可以有效利用各处理器的计算资源，并优化文字识别模型，从而大幅度提升文字模型的迭代速度。

技术领域

本发明涉及计算机技术领域，尤其涉及一种文字识别模型训练方法、装置、电子设备及存储介质。

背景技术

在房产交易的过程中，各个房产交易环节都会要求客户上传与该房产交易环节相关的文件，对于上述交易文件的上传，大多数房产中介采用由房屋经纪人利用OCR文字识别技术手动完成相应地信息录入，然而在利用OCR文字识别技术，训练OCR文字识别模型时，目前均采用在一台机器上进行模型训练，由于房产交易所需数据量巨大，在单机上进行模型训练将存在如下问题：

在单机上进行模型训练不仅会导致模型训练速度过慢，而且因为单一机器的计算资源有限，无法对模型结构进行相应地优化，随着线上数据的回流，模型的训练集会越来越多，不利于训练模型的迭代。

发明内容

针对现有技术中存在的问题，本发明实施例提供一种文字识别模型训练方法、装置、电子设备及存储介质。

第一方面，本发明实施例提供一种文字识别模型训练方法，包括：

获取用于对文字识别模型进行训练的训练数据；

根据并行处理器的数量对所述训练数据进行分片，得到各数据分片；

将所述各数据分片对应分发至各并行处理器，并将所述文字识别模型发送至各并行处理器，以使各并行处理器利用接收到的数据分片对本地的所述文字识别模型进行训练，以获得初始训练参数；

根据各并行处理器获得的初始训练参数，确定所述文字识别模型的目标训练参数；

根据所述目标训练参数优化所述文字识别模型。

进一步地，所述根据各并行处理器获得的初始训练参数，确定所述文字识别模型的目标训练参数，包括：

采用Ring-Allreduce算法对各并行处理器获得的初始训练参数进行处理，确定所述文字识别模型的目标训练参数。

进一步地，所述初始训练参数为各并行处理器利用本地的数据分片对所述文字识别模型进行反向传播计算后得到的梯度参数。

进一步地，将所述各数据分片对应分发至各并行处理器，并将所述文字识别模型发送至各并行处理器，包括：

将所述各数据分片按照相同的第一指定路径对应分发至各并行处理器，使得各并行处理器存储对应数据分片的路径一致；

将所述文字识别模型按照相同的第二指定路径发送至各并行处理器，使得各并行处理器存储所述文字识别模型的路径一致。

进一步地，在各并行处理器利用接收到的数据分片对本地的所述文字识别模型进行训练时，所述方法还包括：

对于所述文字识别模型的预设指定网络层，在进行卷积训练操作之前，利用1*1的卷积核对所述预设指定网络层进行降维处理。

进一步地，在根据并行处理器的数量对所述训练数据进行分片，得到各数据分片之前，所述方法还包括：

根据预设脏数据集合，对所述训练数据进行数据清洗，以去除所述训练数据中属于所述预设脏数据集合的脏数据；

和/或，