[发明专利]一种机器学习、寻物方法及装置

权利要求书

1.一种机器学习方法，其特征在于，应用于机器人，所述方法包括：

从目标寻物场景的状态集合中选择状态，作为第一状态，其中，所述状态集合为：所述机器人在所述目标寻物场景中的状态的集合；

以所述第一状态为寻物策略的起始状态，获得寻找目的物的目标最优寻物策略，其中，所述寻物策略包含：所述机器人从所述寻物策略的起始状态开始至寻找到所述目的物依次经历的各个状态、从每一状态转换至下一状态所述机器人执行的动作；

以所述目标最优寻物策略为学习目标，利用目标类型的寻物策略确定用于进行策略学习的增强学习算法中的回报函数，所述目标类型的寻物策略为：寻物策略池中用于寻找所述目的物的寻物策略；基于所述回报函数进行策略学习，获得使得所述增强学习算法中价值函数的输出值最大的寻物策略，作为所述机器人在所述目标寻物场景中寻找所述目的物的寻物策略，并将所获得的寻物策略添加至寻物策略池，其中，所获得的寻物策略为：以所述第一状态为起始状态、以第二状态为终止状态的寻物策略，所述第二状态为：所述目的物在所述目标寻物场景中的位置对应的所述机器人所处的状态；

比较所获得寻物策略与所述目标最优寻物策略是否一致；

若一致，判定完成以所述第一状态为寻物策略的起始状态的策略学习；

若不一致，返回所述从目标寻物场景的状态集合中选择状态的步骤。

2.根据权利要求1所述的方法，其特征在于，所述以所述目标最优寻物策略为学习目标，利用目标类型的寻物策略确定用于进行策略学习的增强学习算法中的回报函数，包括：

确定使得以下表达式的取值最大的回报函数R为用于进行策略学习的增强学习算法中的回报函数：

其中，

k表示所述寻物策略池中所包含寻找所述目的物的寻物策略的数量，i表示所述寻物策略池中各个寻找所述目的物的寻物策略的标识，π_i表示所述寻物策略池中标识为i的寻找所述目的物的寻物策略，π_d表示所述目标最优寻物策略，S₀表示所述第一状态，V_π表示寻物策略π下所述增强学习算法的价值函数的输出值，表示寻物策略π_i下所述增强学习算法的价值函数的输出值，表示寻物策略π_d下所述增强学习算法的价值函数的输出值，M表示寻物策略π中所包含状态的数量，m表示寻物策略π中各个状态的标识，t表示寻物策略π中状态转换的次数，π(S_m)表示寻物策略π中所述机器人从状态S_m转换至下一状态执行的动作，γ为预设的系数，0＜γ＜1，maximise()表示取最大值函数，p(x)为计算函数，在x≥0时p(x)＝x，在x＜0时p(x)＝2x。

3.根据权利要求2所述的方法，其特征在于，所述基于所述回报函数进行策略学习，获得使得所述增强学习算法中价值函数的输出值最大的寻物策略，包括：

按照预设的状态转换方式，学习得到以所述第一状态为寻物策略起始状态、以所述第二状态为寻物策略终止状态的寻物策略；

按照以下表达式计算学习到的每一寻物策略下所述增强学习算法中价值函数的输出值：

其中，R表示所述增强学习算法中的回报函数；

将计算得到的输出值中最大输出值对应的寻物策略确定为使得所述增强学习算法中价值函数的输出值最大的寻物策略。

4.根据权利要求1-3中任一项所述的方法，其特征在于，通过以下方式确定所述寻物策略中每一状态的下一状态、以及从每一状态转换至下一状态所述机器人执行的动作：

根据预先统计的、转换前状态转换至其他状态的概率，确定转换后状态以及从所述转换前状态转换至所述转换后状态所述机器人执行的、属于所述目标寻物场景的动作集合的动作，其中，所述动作集合为：所述机器人在所述目标寻物场景中进行状态转换时执行动作的集合。