[发明专利]基于深度强化学习的个性化学习系统及方法

权利要求书

1.基于深度强化学习的个性化学习系统，包括个性化学习终端、个性化数据分析处理端以及个性化学习服务端，其特征在于，所述个性化学习终端还包括电子教材交互模块、作业与考试模块、个人学习档案管理模块、疑难问题互动交流模块与资源查询模块，所述个性化数据分析处理端包括个性化学情数据预处理模块、学习内容个性化推荐模块和学习结果智能测评模型构建模块。

2.根据权利要求1所述的基于深度强化学习的个性化学习系统，其特征在于，所述个性化学习终端通过构建好的资源推荐模型根据学习者的动态访问交互日志为学习者推送与之能力相匹配的学习资源，所述个性化学习终端还通过学习结果智能测评模型根据学习者的学情数据智能诊断反馈学习者的课程完成情况与知识的薄弱，所述个性化学习终端还覆盖多个学习活动场景。

3.根据权利要求1所述的基于深度强化学习的个性化学习系统及方法，其特征在于，所述电子教材交互模块用于学习者对电子教材的绑定、下载、保存和对教材的学习交互记录，所述作业与考试模块用于课后作业的参与完成、批阅和展示的整套课后作业交互流程，所述资源查询模块包括学习资源库。

4.根据权利要求1所述的基于深度强化学习的个性化学习系统及方法，其特征在于，所述个性化学习终端通过融合多个学习活动场景产生的交互数据，提取学习者的个性化学习数据，采用深度强化学习算法对个性化学习进行内容推荐建模、且对学习结果进行个性化评价分析。

5.基于深度强化学习的个性化学习方法，使用上述权利要求1-4种任意一项，其特征在于，包括以下步骤：

1)、个性化学习终端采集学情数据，学情数据包含静态学情数据和动态学情数据；

2)、学习者使用个性化学习终端的账号登录终端，获取学习资源，并绑定课程，跟进课程的开设进度参与学习、参与课程疑难问题答疑，并完成相关作业及考试测验；

3)、学习者在学习终端进行各种学习活动，通过学习播放课程视频、点击资源等实现与平台的个性化资源内容推荐系统的多轮交互，在该过程中推荐系统能够感知用户的实时行为，从而更加理解学习者的偏好和需求；

4)、个性化分析模型处理端将静态学情数据进行处理，提取离线的个性化特征数据；

5)、个性化分析模型处理端对动态学情数据进行处理，提取实时的个性化特征数据。实时的个性化特征数据包含学习者对学习资源的交互行为及学习任务的完成结果情况；

6)、个性化模型分析处理端，提取完学习者用户的离线特征，包含用户过去的历史反馈数据和实时特征，基于离线特征和实时特征采用深度强化学习构建个性化的学习内容分层推荐模型。

6.根据权利要求1所述的基于深度强化学习的个性化学习方法，其特征在于，所述步骤1)中静态学情数据的采集包括以下方式：

A1、学习者在学生终端注册账号，填写档案信息，这些数据可在注册账号时以基本信息登记的形式采集，这些信息可通过学习者在学习终端的用户中心修改而更新；

A2、学习者通过账号在过去一个星期、一个月访问参与选定的课程视频学习、加入过的最新的相关课程，包含课程视频的直播和录播回放。对学习者在过去一个星期、一个月的学习行为数据进行采集存储，过去一个星期、一个月的学习行为数据如访问课程次数、有访问课程行为的天数、已完成的章节数、相关作业、测验考试考评情况等数据；

A3、学习者在过去一个星期、一个月对学习资源的历史查询和浏览行为数据。

7.根据权利要求1所述的基于深度强化学习的个性化学习方法，其特征在于，所述步骤1)中动态学情数据的采集包括以下内容：

B1、采集学习者在课程学习参与中与教师互动的活跃度；

B2、采集学习者对学习资源内容搜索的关键字，及对搜索结果资源的点击、在线对学习资源的交互情况。

B3、动态学情数据实时采集上传到个性化学习模型处理分析端，进行分析预处理，实时计算学习者个性化的动态交互特征。

8.根据权利要求1所述的基于深度强化学习的个性化学习方法，其特征在于，所述步骤4)中离线的个性化特征数据包括离线的特征数据包含学习者的性别、年龄、学历、爱好等，并将类别特征变量转换为虚拟数字变量。