[发明专利]基于注意力机制强化学习的半导体晶片测试路径规划方法有效
申请号: | 201911036531.5 | 申请日: | 2019-10-29 |
公开(公告)号: | CN110824917B | 公开(公告)日: | 2022-05-13 |
发明(设计)人: | 史豪斌;吴海波;高彪;朱金辉 | 申请(专利权)人: | 西北工业大学 |
主分类号: | G05B13/04 | 分类号: | G05B13/04;G05B13/02;G01R31/26;H01L21/66 |
代理公司: | 西北工业大学专利中心 61204 | 代理人: | 王鲜凯 |
地址: | 710072 *** | 国省代码: | 陕西;61 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 基于 注意力 机制 强化 学习 半导体 晶片 测试 路径 规划 方法 | ||
1.一种基于注意力机制强化学习的半导体晶片测试路径规划方法,其特征在于包括以下步骤:
步骤一、以一个像素代表一粒晶粒,采用灰度图像将探针以及晶粒的状态用不同灰度值表示;同时为了避免影像扩增带来的状态空间呈指数性增长,采用聚焦缓解状态增长所带来的问题,将探针代理人的输入影像定为只有聚焦内部的影像;
步骤二、探针代理人采取的动作为以自身所在位置为中心的八个方向,移动的步伐则是以晶粒为单位为1~N步,故总共有8×N种行为;聚焦代理人能采取的动作则为以自身所在位置为中心的八个方向加上不移动的选择,因此共8×N+1种行为,表示为:
ac=at,0≤t8×N+1 (1)
步骤三、采用累计奖励的方式为代理人进行奖励计算,通过n-steps TD-error的方式更新价值函数V(s);
设状态为:st,st+1,...,序列为:Rt+1,Rt+2,...,Gt:t+n为时间t行动n步后得到的累计奖励,称为TD-target,折扣率为γ,介于0-1之间,用公式表示为:
若st+n为non-terminal state:
Gt:t+n=Rt+1+γRt+2+...+γn-1Rt+n+γnV(st+n) (2)
若st+n为terminal state:
Gt:t+n=Rt+1+γRt+2+...+γn-1Rt+n (3)
步骤四、探针网络透过LSTM网络架构将每一次的隐藏状态串起来,直到探针回合结束再将隐藏状态初始化;首先由环境获得影像x1再经由卷积神经网络提取影像特征图,SoftAttention Mechanism将特征图与初始化的隐藏状态h0进行数据整合产生出Z1,接着将Z1送入LSTM网络中,并输出下一个隐藏状态h1作为Actor和Critic网络的输入,LSTM中产出的下一个历史状态会继续传入下一个序列中,当探针代理人采取完动作后,环境再传入下一个影像x2,依此循环至晶圆检测回合结束;
步骤五、Soft Attention Mechanism目的是产生出对应每一个向量需要被关注的程度比例,减低状态信息量,解决状态空间过大的问题;Soft Attention Mechanism输入端有两个,一个为CNN运算完得到的特征向量vt,另一个为前一个LSTM的输出的隐藏状态ht-1,将两者各乘上一个权重后,再相加并使用激励函数tanh使数值限制于[-1,1],得到:
之后再将gt经过线性运算,乘上向量尺寸为512×1并加上偏差bg,即:
输出st后将其使用激励函数softmax,计算出比例值在0到1之间,即为关注比重向量αt,最后再将此关注比重αt与特征向量vt相乘后相加起来为向量Zt;
步骤六、神经网络中存在两个输出层,一个是价值函数,一个是策略函数,分别使用两个不同的目标函数来进行训练更新;价值函数的目标函数就是步骤三中介绍的累计奖励与价值函数估计的累加奖励之间的平方误差,表示为:
Lv(θ'v)=(Gt-V(st;θ'v))2 (6)
对于策略函数的目标函数,判断选择动作的概率与TD-error的乘积的正负性,若为正值代表此动作选择正确,从而加大动作的选择概率,再加上策略熵与参数β的乘积,策略的熵表示为:
策略函数的目标函数为:
Lπ(θ'v)=logπ(at|st;θ')(Gt-V(st;θ'v)) (8)
步骤七、随着训练的进行,模型收敛;整体的更新公式为:
步骤八、tmax为一次训练采集样本数,Tmax为训练终止条件,当前回合T≥Tmax时终止更新。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于西北工业大学,未经西北工业大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201911036531.5/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种多功能管道装载机
- 下一篇:超精密微结构散热片的制备方法