[发明专利]基于后门触发器的DRL模型知识产权保护方法

权利要求书

1.一种基于后门触发器的DRL模型知识产权保护方法，其特征在于，包括以下步骤：

步骤S1:由模型所有者生成水印种子集合；

步骤S2:基于WMGen算法，通过水印种子修改每个状态对应的奖励值，并且改变状态对应的动作；

步骤S3:Mark算法使用训练数据和水印序列重新训练模型，嵌入该后门触发器,修改每个动作对应的奖励值；

步骤S4:根据步骤S2中的每个状态获得对应的APD组成验证时间水印序列TW^；

步骤S5:通过水印种子对应的初始状态由此得到每个状态以及对应的APD组成的可疑时间序列TW’；

步骤S6:使用Verify算法比较验证时间水印序列TW^与可疑时间序列TW’的距离：如果该距离JS_{TW^_TW’}小于阈值ε₁，并且可疑时间序列TW’所对应的总奖励值R_TW’小于阈值ε₂，则该模型为受保护模型；否则，该模型为非受保护模型。

2.根据权利要求1所述的基于后门触发器的DRL模型知识产权保护方法，其特征在于，所述状态对应的奖励值由水印种子对应的初始状态的环境与智能体agent交互得到。

3.根据权利要求1所述的基于后门触发器的DRL模型知识产权保护方法，其特征在于，所述WMGen算法，具体为：

设WMGen生成一个数据集C，它由n条水印序列组成，每个水印序列由状态和相应的APD对组成，长度为L:

TW_i＝[(s_i,0,P_i,0),(s_i,1,P_i,1),...,(s_i,L-1,P_i,L-1)]

WMGen首先生成一系列的随机种子作为水印算法的水印启动条件；每个随机种子对应环境的一个初始状态且该初始状态唯一，使用该随机种子将环境初始化与已经训练好的智能体进行交互，获得了一个该状态对应的APD；

对该状态进行下毒，选择概率最小的动作并且给予该动作一个正向的奖励值，将该动作与环境进行交互得到环境的下一个状态，对新得到的状态也进行上述的下毒操作，由此得到了一条下毒的动作状态序列，该序列与初始的随机水印种子唯一对应。

4.根据权利要求1所述的基于后门触发器的DRL模型知识产权保护方法，其特征在于，所述步骤S3具体为：使用WMGen函数生成的水印序列与原模型进行再训练得到一个新的模型；并根据WMGen获得的每个状态，由智能体Agent获得每个状态对应的APD，由此构成的一系列后续验证所需的验证时间水印序列TW^。

5.根据权利要求1所述的基于后门触发器的DRL模型知识产权保护方法，其特征在于，所述步骤S6具体为：

模型的所有者通过水印状态运行智能体Agent，观察后续的状态APD对，并检查序列行为是否与验证时间水印TW^相匹配来提取水印；

模型的所有者多次运行智能体agent，收集预测的动作并计算其概率分布，得到时间序列TW'＝[(s₀,P₀'),(s₁,P₁'),...,(s_L-1,P_L-1')]；

通过对比验证时间水印序列TW^和可疑时间序列TW’的JS散度JS_{TW^_TW’}以及后门阈值奖励验证深度强化学习模型的所有权。

6.根据权利要求5所述的基于后门触发器的DRL模型知识产权保护方法，其特征在于，所述JS散度计算公式为：

JS(P||Q)＝(1/2)*KL(P||(P+Q)/2)+(1/2)*KL(Q||(P+Q))

KL(P||Q)＝Σ(P(i)*log(P(i)/Q(i))

其中，JS表示JS散度；KL表示KL散度；P和Q表示两个概率分布；P(i)和Q(i)分别表示在P、Q两种概率分布中，事件i发生的概率。