[发明专利]一种软件操作序列自动生成方法

说明书

本发明属于软件应用技术领域，涉及软件操作序列的生成方法。一种软件操作序列自动生成方法，包括以下步骤：获取软件的动作集和状态集；输入动作集、状态集和初始策略作为初始要素，采用强化学习法自动生成软件操作序列。本发明的软件操作序列自动生成方法，可以实现软件各种操作行为的自学习，针对软件的不同功能，学习生成相应的操作序列，学习完毕后，得出每个状态下可进行的动作序列的最优值，以完成指定软件的功能。

技术领域

本发明属于软件应用技术领域，涉及软件操作序列的生成方法。

背景技术

用户行为模拟往往体现了用户的爱好、习惯以及行为特点。在当今社会，伴随着时代的发展，互联网在人们生活中扮演着越来越重要的角色。对于网络服务的提供商以及网络商品的开发者，关于用户行为的分析可以对当前的服务策略进行针对性的调整。所以，进行高逼真度的用户行为模拟是非常有价值的。在其中的个体行为研究中，可以大致分为粗粒度行为与细粒度行为。其中，粗粒度行为的研究是指对于用户使用应用程序的操作进行的研究，其关注点在于用户使用何种应用程序以及使用应用程序进行了何种操作,例如使用邮箱软件进行了对邮件的接收，查看。

在传统的用户行为模拟领域，其研究的重点主要集中在两方面：一是研究用户操作的软件种类、数量、以及软件之间的相互切换关系，使用预测算法预测用户下一个使用的应用软件，属软件间层面的模拟。二是研究用户操作鼠标、键盘等行为的操作习惯，模拟生成符合用户行为特征的鼠标、键盘的消息，属于个体行为研究中的细粒度行为研究。此两方面均未对个体用户的软件内操作行为的模拟有所阐述。

软件操作序列自动生成是实现个体用户软件操作模拟的关键部分，现有的软件操作行为的生成，大多是开发者手工编写脚本实现特定的功能，可扩展性不高而且实现复杂。

发明内容

针对现有技术种存在的上述问题，本发明提供一种基于强化学习的软件操作序列自动生成的方法，可以实现软件各种操作行为的自学习，针对软件的不同功能，学习生成相应的操作序列，且满足步骤最少、结果最优、性能最好等特点。

为了解决本发明的技术问题，本发明采用的技术方案是：一种软件操作序列自动生成方法，包括以下步骤：

获取软件的动作集和状态集；

输入动作集、状态集和初始策略作为初始要素，采用强化学习法自动生成软件操作序列。

优选地，所述动作集的获取方法为：将软件的每一个菜单选项以及软件界面上可以点击的按钮作为动作候选值，所有的动作候选值构成软件的动作集。

进一步优选地，所述状态集的获取方法为：将软件的初始界面定义为软件使用的初始状态，在所述的动作集中随机选择动作，每一个动作对应一个状态；检测当前状态的菜单句柄以及当前可选环境，将相同状态进行合并；遍历所有状态和当前状态可选动作之后，即获得软件的状态集。

优选地，强化学习法自动生成软件操作序列的具体步骤为：

依据给定的策略，在当前状态下选择动作；

对选择的动作进行奖励；

判断奖励是否满足给定要求：满足给定要求的情况下，得到最优策略，即为软件操作的最优动作序列；

不满足给定要求的情况下，依据奖励更新迭代策略，重新从状态集与动作集中选择初始状态与动作，再次向下执行。

本发明的软件操作序列自动生成方法，可以实现软件各种操作行为的自学习，针对软件的不同功能，学习生成相应的操作序列，学习完毕后，得出每个状态下可进行的动作序列的最优值，以完成指定软件的功能。

附图说明

图1是本发明的软件操作序列自动生成方法的流程图；

图2是动作集、状态集的获取方法流程图；