[发明专利]一种基于强化学习的Windows窗体应用程序自学习智能机器人及其工作方法

说明书

本发明涉及一种基于强化学习的Windows窗体应用程序自学习智能机器人及其工作方法，包括学习任务下发模块、学习任务解析模块、自学习模块、知识库构建模块；学习任务下发模块下发任务配置文件；学习任务解析模块接收到任务配置文件进行解析，将解析后的信息作为自学习模块的参数；自学习模块用于接收解析后的信息并选取学习策略后对目标软件进行自学习；知识库构建模块用于存储所述自学习模块自学习后获取的知识。本发明可以对所有的Windows窗体应用程序进行自主学习，这种学习完全是机器人自主选择学习策略，自主归纳知识，对知识进行组织构建。可以有效地为网络安全科研人员研究互联网用户的软件行为提供有效的基础。

技术领域

本发明涉及一种基于强化学习的Windows窗体应用程序自学习智能机器人及其工作方法，属于机器人技术领域。

背景技术

随着信息技术的普及，计算机应用软件得到了迅速发展，在一定程度上提高了社会信息化水平，逐渐成为推动我国经济发展的重要产业之一。应用软件是计算机软件的主要分类之一，是为针对用户特殊应用目的所撰写的计算机应用程序。应用软件的类别一般可以分为工业自动化软件、业务软件、内容访问软件、仿真软件、教育软件、多媒体开发软件、产品工程软件等。如今主流的操作系统有Windows、Linux以及MacOS，由于应用程序的开发和运行使用是基于操作系统之上的，同一种应用程序无法实现跨系统安装，同时不同的操作系统之间的应用程序的相互移植的成本太高。目前三大操作系统中Windows系列操作系统在市场中仍然是主导地位，所以，对于基于Windows平台开发的应用层序进行研究是具有意义的。

目前，大部分的Windows窗体应用程序开发使用MFC(微软基础类库)，是一种微软公司提供的类库，其中是使用C++对Windows API进行封装，并且其中包含的类包含大量Windows句柄封装类和很多Windows的内建控件和组件的封装类。MFC可以使用面向对象的方法来调用Windows API，使得开发应用程序更加敏捷和高效，同时在开发过程中提供文档架构视图结构和活动文档的应用程序架构。但是，MFC的一些类的封装十分的复杂，不利于开发人员的调试。另外，MFC的很多类依赖于应用程序向导生成的代码，使得在使用VisualC++中其他类型的应用程序向导生成的工程中添加MFC支持的难度大大增加。

国内目前对于Windows用户软件进行智能分析的研究工作还处于初始阶段，一般研究人员手动去操作工程软件，以此来研究软件各个可操作序列。同时，在商业软件中，需要测试人员去手动编写针对软件操作的测试用例。以上方法都需要大量的成本，并且执行效率较低。

发明内容

针对现有技术的不足，本发明提供了一种基于强化学习的Windows窗体应用程序自学习智能机器人；

本发明还提供了上述智能机器人的工作方法；

本发明智能机器人通过读取下发的任务配置，使用强化学习，对Windows窗口应用软件进行用户行为的自主学习，对软件的用户行为学习完毕后自主进行用户的行为模拟，从而达到自主学习自主模拟软件的目的。本发明可以生成学习知识库，该技术大大推动相关研究的发展。

术语解释：

1、动作action，这里以windows系统预装的“记事本”窗体应用为例，首先记事本界面如图4 所示。在软件窗口中，可以看到windows的窗体软件的顶部一般分布着该软件的一些功能按钮，用户在使用该软件的时候，会通过鼠标的点击来对按钮进行点击，这里可以把用户点击的事件看作一个动作,即action，使用数学符号A来表示动作集合。此时，在任意时间t(t＝1,2,3,…,n)中，按钮点击事件，或者说是动作，表示成a_t。以上，在窗体软件中，可以进行的动作软件中所有可以点击的按钮。

2、环境E，窗体软件环境是指该窗体软件启动后，通过界面或者窗口，给用户提供交互的环境environment，记为E。通过一个转移矩阵来描述这个窗体软件的环境，转移矩阵在本质上是表示动作和状态之间的转换状态。