[发明专利]基于深度强化学习的个性化学习推荐方法

说明书

本发明公开了一种基于深度强化学习的个性化学习推荐方法，包括以下步骤：定义知识点及题目的难度属性，根据知识点之间的关系构建知识点网络图；根据知识点之间的关系确定知识点下题目之间的关系，构建题目网络图；根据用户行为数据，在题目网络图中得到针对指定用户当前状态下的子图，作为学习边界；进而使用深度强化学习算法，利用用户历史记录建模，训练得到在用户当前状态下的子图中如何选取割集策略。本发明方法可智能化地为用户推荐最佳题目，节省用户学习时间，使其学习效率提高，学习体验提升。

技术领域

本发明涉及个性化学习推荐研究领域，特别涉及一种基于深度强化学习的个性化学习推荐方法。

背景技术

伴随着现在越来越多的互联网教育平台推出，网络学习资源也得到了极大的丰富，用户能随时随地学习，同时还能随时得到测试，这样的体验对用户来说方便性不言而喻。但是学生在个体差异、兴趣、学习风格等方面的差异，很大程度上影响着学习的效果，无差异化教学存在着学习效率较低，难以做到因材施教的情况。美国心理学家诺埃尔·蒂奇(Noel Tichy)曾提出一个人学习的最理想状态是经常处于学习的事物具有适当的挑战性的“学习区(stretch zone)”。那么，对用户的学习行为进行挖掘，找到“学习区”的题目对用户进行推荐对于用户的学习过程具有十分重要的意义。另外，由于互联网教育学习平台的普及，能够迅速呈现最适合用户认知水平的学习资源、在题海中找到最适合学生的题目进行个性化推荐就显得更加得重要。平台普及及用户量增加也积累了越来越多的用户网络学习的行为数据。如何利用用户的行为数据，给用户推荐适合自己的学习教材或题目，从而改进用户的学习体验已成为目前研究的热点。

目前已经有相关研究是针对当前用户的行为数据，根据这些行为数据进行建模，为用户推荐个性化题目，技术方案主要有两个方面，一个是基于推荐系统，另一个是基于用户行为模式挖掘。两者存在易忽略用户行为中蕴含的信息，资源利用率不高、推荐输出不稳定以及精准度较低等问题。

发明内容

本发明的目的在于克服现有技术无法进行个性化推荐的缺点，提供一种基于深度强化学习的个性化学习推荐方法，该方法可智能化地为用户推荐“学习区”题目，节省用户学习时间，使学习效率提高，学习体验提升。

本发明的目的通过以下的技术方案实现：基于深度强化学习的个性化学习推荐方法，包括以下步骤：

(1)定义知识点及题目的难度属性，根据知识点之间的关系构建知识点网络图；

(2)根据知识点之间的关系确定知识点下题目之间的关系，构建题目网络图；

(3)根据用户行为数据，在题目网络图中得到指定用户当前状态下的子图；

(4)使用深度强化学习算法，利用用户历史记录建模，训练得到在用户当前状态下的子图中如何选取割集即用户“学习区”策略。

优选的，步骤(1)中，知识点的难度属性值依赖专家或用户数据建模来定义，题目的难度属性根据题目所在的知识点的难度属性值及题目自身的难度依赖专家或用户数据建模来定义。

优选的，步骤(1)中，知识点网络图是指依据知识点作为节点，知识点的难度属性值作为节点的难度属性值，依据知识点间的关系建立连边，知识点间关系程度作为连边的权重值，关系依赖专家或用户数据建模。

优选的，步骤(2)中，题目网络图是指依据知识点下的题目作为节点，题目的难度属性值作为节点的题目难度属性值，题目所在的知识点难度属性值作为节点的知识点难度属性值，依据有连边的知识点下题目间关系及同一知识点下的题目间关系建立连边，题目间关系程度作为连边的权重值。

优选的，步骤(3)中，用户当前状态下的子图的构建方法是：根据用户行为数据，在题目网络图中依据用户行为数据找到作答过的题目节点的前向或后向节点，找到的节点及与其的连边、连边的权重构成用户当前状态下的子图。