[发明专利]用于过程指标的感知过程控制的系统和方法

权利要求书

1.一种半导体处理方法，所述方法包括：

利用一个或更多个实体处理器确定经受半导体制造过程的对象的状态的序列，所述状态是基于与所述对象相关联的处理信息来被确定的，其中所述状态的序列包括所述对象的一个或更多个未来状态；

利用所述一个或更多个处理器，基于所述状态的序列内的所述状态和所述一个或更多个未来状态中的至少一个状态来确定与所述对象相关联的过程指标，所述过程指标包括对于所述状态的序列中的单独的状态来说，对所述对象的处理要求是否得到满足的指示；以及

利用所述一个或更多个处理器，基于(1)所述状态和所述一个或更多个未来状态中的至少一个状态以及(2)所述过程指标，开始对所述半导体制造过程的调整，所述调整被配置成针对所述状态的序列中的所述单独的状态增强所述过程指标，使得对所述对象的最终处理要求得到满足。

2.根据权利要求1所述的方法，其中，所述状态的序列对应于针对所述对象执行的处理操作的序列，并且其中确定所述状态的序列、确定所述过程指标、以及开始所述调整包括：

确定策略函数P(s)，所述策略函数限定针对单独的状态、用于执行所述处理操作的装备、和/或用于所述处理操作的一个或更多个过程参数的处理操作校正；和/或

确定价值函数V(s)，所述价值函数限定在假定所述策略函数被遵循直至所述处理操作的序列完成的情况下对所述过程指标的所述增强。

3.根据权利要求2所述的方法，其中，所述价值函数限定针对给定状态(s)的预期过程指标。

4.根据权利要求1所述的方法，其中，针对半导体处理环境来执行所述方法，并且被处理的对象是半导体晶片或是所述半导体晶片的一个或更多个部分。

5.根据权利要求1所述的方法，其中，所述过程指标包括奖励，并且所述一个或更多个处理器包括代理。

6.根据权利要求1所述的方法，其中，所述过程指标包括良率，并且针对所述状态的序列中的所述单独的状态增强所述过程指标，使得对所述对象的最终处理要求得到满足包括增大所述良率。

7.根据权利要求1所述的方法，其中，开始所述调整包括：(1)基于所述状态的序列优化所述过程指标，并且基于优化后的过程指标确定所述调整；和/或(2)提示用户进行所述调整。

8.根据权利要求1所述的方法，其中，所述状态的序列对应于针对所述对象执行的处理操作的序列，并且所述调整包括以下各项中的一个或更多个：所执行的处理操作的改变、执行所述处理操作的顺序的改变、或用于执行所述处理操作中的一件或更多件装备的改变。

9.根据权利要求1所述的方法，其中，所述状态的序列对应于针对所述对象执行的处理操作的序列，并且其中所述处理信息包括以下各项中的一个或更多个：作为所述处理操作的部分执行的对所述对象的测量的值、执行哪些处理操作的指示、所述处理操作的序列的顺序的指示、在所述处理操作中使用哪个装备和/或关联的机器常数的指示、或所述处理操作的处理参数。

10.根据权利要求1所述的方法，其中，确定所述状态的序列、确定所述过程指标、以及开始所述调整是作为无模型强化学习(MFRL)构架的至少一部分来被执行的。

11.根据权利要求10所述的方法，其中，所述MFRL构架包括以下各项中的一个或更多个：异步优势行为-评价算法、利用标准化优势函数的Q学习、信赖域策略优化算法、近端策略优化算法、双延迟深度确定性策略梯度、或柔性行为-评价算法。

12.根据权利要求2所述的方法，还包括：利用所述一个或更多个处理器，基于与具有第一过程参数的一个或更多个处理操作的第一序列和具有第二过程参数的一个或更多个处理操作的第二序列相关联的策略函数和价值函数，将所述第一序列与所述第二序列进行比较。