[发明专利]基于强化学习的网页页面主动式检索系统

权利要求书

1.一种基于强化学习的网页页面主动式检索系统，其特征在于，该系统包括：

Web搜索Agent模块，用于接收用户的初始请求，并且将用户请求进行分析，利用相关主题分析下载Web页面，将结果提交至Web过滤Agent模块；

Web过滤Agent模块，用于实现对信息搜索Agent搜索获取的页面进行内容分析，利用强化学习中的Q学习系统对各个Web页面进行Q学习中值函数计算，并将结果提供Web接口Agent模块；

Web接口Agent模块用于提供用户推荐Web页面，记录用户浏览行为，并将结果提交给用户信息学习Agent模块；

用户信息学习Agent模块，用于利用强化学习中的TD学习算法对用户的兴趣模型进行更新和改进，根据Web接口Agent模块所完成的对用户浏览页面行为的记录，生成获取到的用户的反馈值，由兴趣度计算和更新模块不断对用户的兴趣进行更新，利用TD学习算法对用户的兴趣模式进行计算，最终达到用户信息模型的最佳权重分布。

2.根据权利要求1所述的基于强化学习的网页页面主动式检索系统，其特征在于，该Web搜索Agent模块由信息搜索、Web页面分析以及Web页面下载这几个功能模块组成，用于实现与用户兴趣主题相关的搜索、网页内容分析和页面的下载功能；由用户先输入原始的请求，根据搜索引擎进行初始页面的获取，并且将页面上的相关链接提取并存放到一个缓冲区，页面下载模块将根据链接URL地址访问相应的网页，同时按照主题关键词分类保存。

3.根据权利要求1所述的基于强化学习的网页页面主动式检索系统，其特征在于，该Web过滤Agent模块接收到Web搜索Agent模块实施结果之后，利用Q学习算法结合用户特征模型对Web页面内容进行分析及排序，取出Q值排名靠前的Web页面进行过滤；Web过滤Agent模块的作用主要包括Web页面分析、Web页面过滤和Web页面分类索引，并将结果提供Web接口Agent模块。

4.根据权利要求1所述的基于强化学习的网页页面主动式检索系统，其特征在于，该Web接口Agent模块用于实现推荐与学习模块完成的用户模型最相关的网页予以浏览、并且接收反馈值，对浏览行为的分析和统计。

5.根据权利要求1所述的基于强化学习的网页页面主动式检索系统，其特征在于，该用户信息学习Agent模块用于根据知识库初始生成该用户的基本信息文件，在将来的搜索以及浏览网页的过程中，不断对用户的兴趣进行更新，以确定用户信息模型。

6.根据权利要求5所述的基于强化学习的网页页面主动式检索系统，其特征在于，该用户信息学习Agent模块根据用户反馈值，进一步对用户信息模型进行更新，基于TD算法对用户模型进行迭代计算和更新并判断用户模型是否达到收敛。

7.根据权利要求5或6所述的基于强化学习的网页页面主动式检索系统，其特征在于，该用户信息学习Agent模块将运行结果提交给Web过滤Agent，进入下一步学习。

8.根据权利要求5或6所述的基于强化学习的网页页面主动式检索系统，其特征在于，该用户信息学习Agent模块在迭代结果达到收敛时，用户信息模型达到最优，并根据用户信息模型，获取推荐Web页面。