[发明专利]多媒体信息推荐方法、装置、电子设备及可读存储介质

权利要求书

1.一种多媒体信息推荐方法，其特征在于，所述方法包括：

获取待推荐给用户的候选集以及所述用户的状态，所述用户的状态包括：所述用户的固有特征和所述用户的历史行为特征；

步骤A，将所述用户的状态以及所述候选集中的每个推荐内容，输入预先建立的神经网络模型，得到每个推荐内容对应的推荐值，选取推荐值最大的推荐内容；

所述神经网络模型是对训练集进行强化学习得到的，所述训练集包括：多个用户中每个用户的状态、每个用户选取的推荐内容以及所选取的推荐内容对应的反馈值；

步骤B，将所述推荐值最大的推荐内容从所述候选集移至推荐集，并将所述推荐值最大的推荐内容添加至所述用户的历史行为特征中；

判断所选取的推荐内容的个数是否达到预设数量；

如果所选取的推荐内容的个数未达到所述预设数量，循环执行步骤A和步骤B，直至所选取的推荐内容的个数达到所述预设数量；

如果所选取的推荐内容的个数达到所述预设数量，将所述推荐集中包含的所述预设数量个推荐内容推荐给所述用户。

2.根据权利要求1所述的多媒体信息推荐方法，其特征在于，所述神经网路模型的建立方法包括：

对神经网络模型的参数进行初始化；

步骤C，获取所述训练集中任一用户的推荐内容，通过所述神经网络模型，得到该推荐内容对应的预测推荐值以及预测选取概率；

步骤D，根据该推荐内容对应的预测推荐值和该推荐内容对应的反馈值，得到该用户选取的下一推荐内容对应的计算推荐值；

步骤E，根据下一推荐内容对应的预测推荐值和计算推荐值，得到第一损失函数值，根据下一推荐内容对应的预测选取概率和实际选取概率，以及该用户的其他候选推荐内容对应的预测选取概率和实际选取概率，通过交叉熵公式确定第二损失函数值；

步骤F，根据所述第一损失函数值和所述第二损失函数值，对所述神经网络模型的参数进行更新；

依次循环执行步骤C、步骤D、步骤E和步骤F，使循环的次数达到预设次数，得到所述神经网络模型。

3.根据权利要求2所述的多媒体信息推荐方法，其特征在于，在得到所述神经网络模型之后，所述方法还包括：

获取多个测试用户的推荐日志，针对每个测试用户，均按以下方式对所述神经网路模型进行离线评估：

步骤G，从该测试用户的推荐日志中获取该测试用户的状态和测试集，将该测试用户的状态以及所述测试集中的每个推荐内容，输入所述神经网络模型，得到每个推荐内容对应的推荐值和选取概率，选取推荐值最大的推荐内容；

步骤H，获取并根据该推荐值最大的推荐内容对应的反馈值、该推荐值最大的推荐内容的选取概率以及所有历史选取推荐内容的选取概率，确定该推荐值最大的推荐内容的返回值，其中，在第一次选取时，历史选取推荐内容的选取概率为1；

步骤I，更新该测试用户的状态，并将该该推荐值最大的推荐内容从所述测试集中删除；

依次循环执行步骤G、步骤H和步骤I，直至所选取的推荐内容的个数达到所述预设数量，将所述预设数量个推荐内容的返回值的平均值作为该测试用户的返回值；

若所有测试用户的返回值的平均值小于预设阈值，重新依次循环执行步骤C、步骤D、步骤E和步骤F，直至所有测试用户的返回值的平均值不小于所述预设阈值。

4.根据权利要求3所述的多媒体信息推荐方法，其特征在于，所述根据该推荐值最大的推荐内容对应的反馈值、该推荐值最大的推荐内容的选取概率以及所有历史选取推荐内容的选取概率，确定该推荐值最大的推荐内容的返回值，包括：

将该推荐值最大的推荐内容对应的反馈值除以该推荐值最大的推荐内容的选取概率与所有历史选取推荐内容的选取概率的乘积作为该推荐值最大的推荐内容的返回值。