[发明专利]用于改善代码特性的方法、系统、制品和装置

权利要求书

1.一种用于修改候选代码的装置，所述装置包括：

权重管理器，所述权重管理器用于将第一权重值应用于第一目标函数；

状态标识器，所述状态标识器用于标识与所述候选状态相对应的第一状态；

动作标识器，所述动作标识器用于标识与所述所标识的第一状态相对应的候选动作；

奖励计算器，所述奖励计算器用于确定与以下各项相对应的奖励值：(a)所述所标识的第一状态，(b)所述候选动作中的一个候选动作和(c)所述第一权重值；以及

质量函数定义器，所述质量函数定义器用于基于所述奖励值中的各个奖励值来确定相对最高状态和动作对奖励值。

2.如权利要求1所述的装置，进一步包括机器学习引擎，所述机器学习引擎用于通过将所述奖励值中的所述各个奖励值应用于神经网络来估计质量函数。

3.如权利要求2所述的装置，其特征在于，所述质量函数定义器用于将所述质量函数定义为Bellman估计。

4.如权利要求1所述的装置，进一步包括目标函数选择器，所述目标函数选择器用于：

选择第二目标函数；以及

调用所述权重管理器以将第二权重值应用于所述第二目标函数。

5.如权利要求4所述的装置，其特征在于，所述奖励计算器用于基于所述第一目标函数和所述第二目标函数来计算所述奖励值的总计奖励。

6.如权利要求1所述的装置，其特征在于，所述状态标识器用于迭代地标识与所述候选代码相对应的附加状态，所述动作标识器用于标识与所述各个附加状态相对应的附加候选动作。

7.如权利要求1所述的装置，其特征在于，所述权重管理器用于基于与所述候选代码相关联的代码开发者的行为观察来确定所述第一目标函数的所述第一权重值和第二目标函数的第二权重值。

8.一种非暂态计算机可读存储介质，包括计算机可读指令，当所述指令被执行时使至少一个处理器至少用于：

将第一权重值应用于第一目标函数；

标识与候选代码相对应的第一状态；

标识与所述所标识的第一状态相对应的候选动作；

确定与以下各项相对应的奖励值：(a)所述所标识的第一状态，(b)所述候选动作中的一个候选动作和(c)所述第一权重值；并且

基于所述奖励值中的各个的奖励值来确定相对最高的状态和动作对奖励值。

9.如权利要求8所述的非暂态计算机可读存储介质，其特征在于，所述指令在被执行时使所述至少一个处理器用于通过将所述奖励值中的所述各个奖励值应用于神经网络来估计质量函数。

10.如权利要求9所述的非暂态计算机可读存储介质，其特征在于，所述指令在被执行时使所述至少一个处理器用于将所述质量函数定义为Bellman估计。

11.如权利要求8所述的非暂态计算机可读存储介质，其特征在于，所述指令在被执行时使所述至少一个处理器用于：

选择第二目标函数；以及

调用所述权重管理器以将第二权重值应用于所述第二目标函数。

12.如权利要求11所述的非暂态计算机可读存储介质，其特征在于，所述指令在被执行时使所述至少一个处理器用于基于所述第一目标函数和所述第二目标函数来计算所述奖励值的总计奖励。

13.如权利要求8所述的非暂态计算机可读存储介质，其特征在于，所述指令在被执行时使所述至少一个处理器用于迭代地标识与所述候选代码相对应的附加状态，所述动作标识器用于标识与所述各个附加的状态相对应的附加候选动作。