[发明专利]自然语言处理的分布式训练方法、装置、设备及存储介质

说明书

本公开提供了一种自然语言处理的分布式训练方法，包括：接收训练请求并且对训练请求进行处理；将包括训练数据及相应参数的处理后训练请求发送至消息队列中；从消息队列中获取训练请求，并且根据训练请求来选择不同的训练模型进行训练；将训练完成后的训练结果发送至预测流程树构建队列；以及从预测流程树构建队列中获取请求，进行流程树的生成或更新，并且上传生成的流程树或更新的流程树。本公开还提供了一种自然语言处理的分布式训练装置、电子设备及可读存储介质。

技术领域

本公开涉及一种自然语言处理的分布式训练方法、自然语言处理的分布式训练装置、电子设备及计算机可读存储介质。

背景技术

目前，自然语言处理工作都是由自然语言处理工程师来从项目经理手上获取数据并进行预处理训练出模型并完成部分的代码再交付给项目经理进行后续工程步骤，但是这个阶段项目经理从对模型调整以及训练过程都是未知，会造成自然语言处理工程师在评估测试时效果很好，但是训练自然语言处理模型的实际效果却很差。

因此，如何让非专业人士通过对自身数据理解就能完成自然语言处理工程师常用训练以及调优工作，是需要解决的一个问题。

发明内容

为了解决上述技术问题中的至少一个，本公开提供了一种自然语言处理的分布式训练方法、自然语言处理的分布式训练装置、电子设备及计算机可读存储介质。

根据本公开的一个方面，一种自然语言处理的分布式训练方法，包括：接收训练请求并且对所述训练请求进行处理；将包括训练数据及相应参数的处理后训练请求发送至消息队列中；从所述消息队列中获取所述训练请求，并且根据所述训练请求来选择不同的训练模型进行训练；将训练完成后的训练结果发送至预测流程树构建队列；以及从所述预测流程树构建队列中获取请求，进行流程树的生成或更新，并且上传生成的流程树或更新的流程树。

根据本公开的至少一个实施方式，在训练服务器接收到所述训练请求后，根据所述训练请求的参数来构建训练参数，并且对所述训练参数进行解析以根据解析后的所述训练参数来选择相应的训练模型。

根据本公开的至少一个实施方式，所述训练请求中包括训练数据、词典数据和/或正则表达式数据。

根据本公开的至少一个实施方式，训练完成后，还包括：将训练后的训练模型及相应资源文件保存至对象存储中。

根据本公开的至少一个实施方式，还包括：更新训练后的训练模型的版本号，以及保存与所述训练相关的数据以便进行训练模型版本控制。

根据本公开的至少一个实施方式，还包括：将模型训练结果上传至配置中心，所述模型训练结果至少还包括训练后的所述训练模型的映射路径。

根据本公开的至少一个实施方式，还包括：当所述配置中心进行更新后，至少根据所述映射路径使得预测服务器从所述对象存储获取训练后的所述训练模型，以便更新预测服务器中的所述训练模型。

根据本公开的另一方面，一种自然语言处理的分布式训练装置，包括：训练请求接收模块，接收训练请求并且对所述训练请求进行处理，将包括训练数据及相应参数的处理后训练请求发送至消息队列中；训练服务器模块，从所述消息队列中获取所述训练请求，并且根据所述训练请求来选择不同的训练模型进行训练，训练完成后将训练结果发送至预测流程树构建队列；以及配置包装模块，从所述预测流程树构建队列中获取请求，进行流程树的生成或更新，并且上传生成的流程树或更新的流程树。

根据本公开的再一方面，一种电子设备，包括：存储器，所述存储器存储执行指令；以及处理器，所述处理器执行所述存储器存储的执行指令，使得所述处理器执行如上所述的方法。

根据本公开的又一方面，一种计算机可读存储介质，所述可读存储介质中存储有执行指令，所述执行指令被处理器执行时用于实现如上所述的方法。

附图说明