[发明专利]半监督学习系统及半监督学习方法

说明书

本发明涉及一种半监督学习系统和一种半监督学习方法，半监督学习方法包括：取得一或多个源域的源域数据及一目标域的目标域数据；使用该源域数据及该目标域数据以训练一特征萃取模型；利用一域判别模型、一任务模型及一半监督学习机制以分别计算该特征萃取模型的域判别损失函数、任务损失函数及半监督损失函数；依据该域判别损失函数、该任务损失函数及该半监督损失函数以计算一总损失函数，并依据该总损失函数以更新该特征萃取模型、任务模型与域判别模型的权重；以及因应于整体模型满足模型收敛条件，结束整体模型的训练过程。

技术领域

本发明涉及机器学习，特别涉及一种半监督学习系统及半监督学习方法。

背景技术

数据导向的分析建模技术在特定应用领域(下称源域，source domain)中搜集大量含标签数据标签后，训练所得的模型在同领域的预测表现多能逼近甚至能超越人类。然而当我们想要在另一新领域(下称目标域，target domain)重复利用该模型进行相同预测任务时，新领域的数据集往往和过去训练用数据分布有落差，导致模型的预测表现大幅折损。例如同一产品在多个工厂生产的情况下，使用A工厂生产数据建立出的外观缺陷识别系统，若直接套到B工厂进行识别时，可能因为拍摄角度、采光、相机型号等差别，在数据分布上有所差异，导致运行效果不如预期。

发明内容

有鉴于此，本发明是提供一种半监督学习系统及半监督学习方法以解决上述问题。

本发明提供一种半监督学习系统，包括：一非易失性存储器，用以存储一半监督学习应用程序；以及一处理器，用以执行该半监督学习应用程序以执行下列步骤：取得一或多个源域的源域数据及一目标域的目标域数据；使用该源域数据及该目标域数据以训练一特征萃取模型；利用一域判别模型、一任务模型及一半监督学习机制以分别计算该特征萃取模型的域判别损失函数、任务损失函数及半监督损失函数；依据该域判别损失函数、该任务损失函数及该半监督损失函数以计算一总损失函数，并依据该总损失函数以更新该特征萃取模型、该任务模型及该域判别模型的权重；以及因应于该整体模型满足模型收敛条件，结束该整体模型的训练过程，其中该整体模型包括该特征萃取模型、该任务模型及该域判别模型。

在一些实施例中，该特征萃取模型为ResNet50模型，该半监督学习机制为一致性正规化(consistency regularization)的未监督数据增强机制(unsupervised dataaugmentation)，该任务模型为一第一全连接层，且该域判别模型为一第二全连接层加上一梯度反转层(gradient reversal layer)。

在一些实施例中，该处理器分别指派第一超参数(Hyper Parameter)、第二超参数及第三超参数至该域判别损失函数、该任务损失函数及该半监督损失函数以计算该总损失函数。

在一些实施例中，该源域数据包括第一已标签数据及第一未标签数据，且该目标域数据包括第二已标签数据及第二未标签数据。该处理器使用该第一已标签数据、该第一未标签数据、该第二已标签数据及该第二未标签数据以计算该域判别函数，并依据该域判别损失函数以更新该特征萃取模型及该域判别模型的权重。该处理器使用该第一已标签数据及该第二已标签数据以计算该任务损失函数，并依据该任务损失函数以更新该特征萃取模型的权重及该任务模型的该第二权重。该处理器使用该第一未标签数据及该第二未标签数据以计算该半监督损失函数，并依据该半监督损失函数以更新该特征萃取模型的权重。此外，该模型收敛条件表示该整体模型在固定训练批次(epoch)及固定训练时间下的该总损失函数的改善幅度低于临界值。