[发明专利]基于强化学习的控件探索方法、系统、装置和存储介质

权利要求书

1.一种基于强化学习的控件探索方法，其特征在于，所述方法包括：

获取待探索控件的目标状态；

获取所述待探索控件在当前状态下的可执行动作集；

基于强度学习方法，根据所述可执行动作集对所述待探索控件的当前状态进行状态转移；

判断所述待探索控件在状态转移后的新状态是否达到所述目标状态；若是，完成所述待探索控件的探索；否则继续基于强度学习方法，根据所述可执行动作集对所述待探索控件的新状态再次进行状态转移，直至所述待探索控件经过状态转移后的状态达到所述目标状态。

2.根据权利要求1所述的基于强化学习的控件探索方法，其特征在于，所述获取待探索控件的目标状态，包括：

提取所述待探索控件中的输入框；

采用OCR文字识别方法，对所述待探索控件的所述输入框进行文字识别，得到所述目标状态。

3.根据权利要求1所述的基于强化学习的控件探索方法，其特征在于，所述获取所述待探索控件在当前状态下的可执行动作集，包括：

提取所述待探索控件的弹窗；

采用OCR文字识别方法，对所述待探索控件的所述弹窗进行文字识别，得到弹窗识别结果；

对所述弹窗进行图像识别，得到所述弹窗中的按钮识别结果；

基于所述弹窗识别结果，对所述按钮识别结果进行按钮匹配，得到所述可执行动作集。

4.根据权利要求3所述的基于强化学习的控件探索方法，其特征在于，所述基于所述弹窗识别结果，对所述按钮识别结果进行按钮匹配，得到所述可执行动作集，包括：

从预设按钮图片库中，获取与所述弹窗识别结果对应的所有按钮图片；

将所述按钮识别结果与获取的所有所述按钮图片进行匹配，并将匹配成功的所有所述按钮图片所表示的动作均确定为可执行动作；

根据所有所述可执行动作，得到所述可执行动作集；

其中，所述预设按钮图片库中每个所述按钮图片均预设有唯一的动作。

5.根据权利要求1所述的基于强化学习的控件探索方法，其特征在于，所述基于强度学习方法，根据所述可执行动作集对所述待探索控件的当前状态进行状态转移，包括：

获取所述待探索控件的预设奖励值数据表；

根据所述预设奖励值数据表，从所述可执行动作集中选择目标可执行动作；

基于强度学习方法，控制所述待探索控件按照所述目标可执行动作进行执行，使得所述待探索控件从当前状态转移到新状态。

6.根据权利要求5所述的基于强化学习的控件探索方法，其特征在于，所述判断所述待探索控件在状态转移后的新状态是否达到所述目标状态，包括：

分别计算所述待探索控件在当前状态下与所述目标状态之间的第一字典序距离，以及在状态转移后的新状态下与所述目标状态之间的第二字典序距离；

利用强度学习方法中的奖励函数，根据所述第一字典序距离和所述第二字典序距离，得到状态转移后的实际奖励值；

判断所述实际奖励值是否大于预设阈值，若是，则判定状态转移后的新状态达到所述目标状态，否则判定状态转移后的新状态未达到所述目标状态。

7.根据权利要求6所述的基于强化学习的控件探索方法，其特征在于，当判断状态转移后的新状态未达到所述目标状态时，所述根据所述可执行动作集对所述待探索控件的新状态再次进行状态转移，直至所述待探索控件经过状态转移后的状态达到所述目标状态，包括：

利用所述实际奖励值更新所述预设奖励值数据表；

根据更新后的所述预设奖励值数据表，从所述可执行动作集中选择所述待探索控件在新状态下的所述目标可执行动作；

基于强度学习方法，控制所述待探索控件按照所述目标可执行动作进行执行，使得所述待探索控件从新状态转移到下一状态；

重新判断所述待探索控件在状态转移后的下一状态是否达到所述目标状态，若是，完成所述待探索控件的探索，否则重复更新所述预设奖励值数据表的步骤和状态转移的步骤，直至所述待探索控件经过状态转移后的状态达到所述目标状态。