[发明专利]模型结构的获取方法及装置

说明书

本申请实施例提供了一种模型结构的获取方法及装置，包括：在对包括多个子模型的模型集合进行迭代训练的过程中，根据第一迭代操作结束后子模型的第一采样概率，从预设的至少两个采样方式中选取第二迭代操作所采用的目标采样方式；在执行了至少一次的迭代操作后，获得模型集合中子模型的第二采样概率；根据目标设备的算力资源约束条件和第二采样概率，从模型集合中选取目标子模型，并根据目标子网络获取目标模型。本申请可以通过为每次迭代操作动态的选择合适的采样方式，来提高模型集合的训练效率和精度，另外，模型获取过程不需要再进行额外的子模型精度验证操作，降低了计算开销。

技术领域

本申请涉及计算机技术领域，特别是涉及一种模型结构的获取方法及装置、基于硬件算力约束的模型确定方法及装置、语义识别方法及装置、电子设备、机器可读介质。

背景技术

基于变换器的双向编码器表示技术(BERT，Bidirectional EncoderRepresentation from Transformers)，通过在大量无标注的训练数据上进行自监督预训练的过程，可以学习得到大量的数据结构化信息，因而可以在数据分类、数据匹配等下游任务中获得很高的精度，从而得到了广泛应用。

在目前，将BERT模型应用于具体的部署环境，需要通过固定的采样方式从BERT模型中采样局部结构(子模型)进行训练，并从训练后的BERT模型中提取局部结构，组成满足部署环境的算力约束的待部署模型，最后可以将待部署模型部署在环境中进行使用。

但是，目前的方案中，采用固定的采样方式进行BERT模型的训练，会导致训练效率或训练精度较差，另外，在待部署模型的构建过程中，需要对提取局部结构进行效果评估，这会产生较多计算开销，导致算力成本提升。

发明内容

本申请实施例提供了一种模型结构的获取方法、一种基于硬件算力约束的模型确定方法、一种语义识别方法，以解决相关技术中训练效率或训练精度较差、算力成本提升的问题。

相应的，本申请实施例还提供了一种模型结构的获取装置、一种基于硬件算力约束的模型确定装置、一种语义识别装置、电子设备以及存储介质，用以保证上述方法的实现及应用。

为了解决上述问题，本申请实施例公开了一种模型结构的获取方法，所述方法包括：

在对包括多个子模型的模型集合进行迭代训练的过程中，根据第一迭代操作结束后所述子模型的第一采样概率，从预设的至少两个采样方式中选取第二迭代操作所采用的目标采样方式；所述第二迭代操作为所述第一迭代操作的下一次迭代操作；

在执行了至少一次的迭代操作后，获得所述模型集合中子模型的第二采样概率；

根据目标设备的算力资源约束条件和所述第二采样概率，从所述模型集合中选取目标子模型，并根据所述目标子网络获取目标模型。

本申请实施例公开了一种基于硬件算力约束的模型确定方法，所述方法包括：

获取电子设备的算力资源约束值；

在对包括多个子模型的模型集合进行迭代训练的过程中，根据第一迭代操作结束后所述子模型的第一采样概率，从预设的至少两个采样方式中选取第二迭代操作所采用的目标采样方式；所述第二迭代操作为所述第一迭代操作的下一次迭代操作；

在执行了至少一次的迭代操作后，获得所述模型集合中子模型的第二采样概率；

根据所述电子设备的算力资源约束值和所述第二采样概率，从所述模型集合中选取目标子模型以构成供所述电子设备使用的目标模型，所述目标子模型的资源需求量之和小于或等于所述算力资源约束值。

本申请实施例公开了一种语义识别方法，包括：

获取待识别语料；

将所述待识别语料输入目标模型，得到所述待识别语料的语义识别结果；