[发明专利]网络模型训练方法、装置、计算机设备及存储介质

权利要求书

1.一种网络模型训练方法，其特征在于，所述网络模型包括特征提取子模型和操作确定子模型，所述操作确定子模型包括特征提取层、拼接层和操作确定层，所述特征提取子模型与所述拼接层连接，所述特征提取层与所述拼接层连接，所述拼接层与和所述操作确定层连接，所述方法包括：

根据第一样本数据对所述特征提取子模型进行训练，所述第一样本数据包括图像数据；

基于已训练完成的所述特征提取子模型，对当前的图像进行特征提取，得到所述图像的第一图像特征；

基于所述特征提取层，对所述图像中的目标区域进行特征提取，得到所述目标区域的第二图像特征；

基于所述拼接层，对输入的图像特征进行拼接处理，得到第三图像特征，所述输入的图像特征根据所述第一图像特征和所述第二图像特征得到；

基于所述操作确定层，对所述第三图像特征进行处理，得到待执行的第一操作；

根据执行所述第一操作后得到的操作结果，对所述操作确定子模型进行训练。

2.根据权利要求1所述的方法，其特征在于，所述操作确定子模型还包括全连接层，所述全连接层与所述特征提取层和所述拼接层连接；

基于所述全连接层，对所述第二图像特征进行降维处理，得到第四图像特征，将所述第四图像特征输入所述拼接层。

3.根据权利要求1所述的方法，其特征在于，所述根据执行所述第一操作后得到的操作结果，对所述操作确定子模型进行训练，包括：

执行所述第一操作后，获取当前的状态数据，所述状态数据指示执行所述第一操作后得到的操作结果；

基于所述状态数据和收益函数，获取所述状态数据对应的第一收益数值；

基于目标状态数据和所述收益函数，获取目标收益数值，所述目标状态数据指示对所述图像执行操作后得到的目标操作结果；

根据所述目标收益数值和所述第一收益数值之间的差异，对所述操作确定子模型进行训练。

4.根据权利要求3所述的方法，其特征在于，所述根据所述目标收益数值和所述第一收益数值之间的差异，对所述操作确定子模型进行训练，包括：

根据所述第一收益数值、所述目标收益数值和损失函数，确定所述损失函数的损失值；

根据所述损失值，对所述操作确定子模型的模型参数进行调整，以使所述损失函数收敛。

5.根据权利要求1所述的方法，其特征在于，所述方法还包括：

基于所述操作确定子模型，对所述第一图像特征进行处理，得到多个参考操作对应的操作分值，所述参考操作对应的操作分值用于表示对所述图像执行所述参考操作的概率；

从所述多个参考操作中，随机选取一个参考操作，作为所述第一操作。

6.根据权利要求1所述的方法，其特征在于，所述根据第一样本数据对所述特征提取子模型进行训练，包括：

获取样本图像以及所述样本图像的样本目标信息，所述样本目标信息包括所述样本图像中目标的类型和位置；

基于所述特征提取子模型，对样本图像进行特征提取，得到所述样本图像的第五图像特征；

基于已训练完成的目标检测子模型，对所述第五图像特征进行目标检测处理，得到检测目标信息；

基于所述检测目标信息与所述样本目标信息之间的差异，对所述特征提取子模型进行训练。

7.根据权利要求5所述的方法，其特征在于，在所述操作确定子模型训练完成之后，所述方法还包括：

基于所述网络模型，对当前的图像进行处理，得到多个参考操作对应的操作分值；

基于多个操作分值，从多个参考操作中选取操作分值最大的参考操作，作为目标操作；

执行所述目标操作。