[发明专利]基于遗憾探索的推荐方法、装置、电子设备与存储介质

权利要求书

1.一种基于遗憾探索的推荐方法，其特征在于，包括：

基于目标用户的用户特征和各候选对象的对象特征，确定各候选对象的状态；

将所述各候选对象的状态输入至评分模型，得到所述评分模型输出的所述各候选对象的评分；

基于所述各候选对象的评分，确定向所述目标用户推荐的对象；

所述评分模型是基于样本对象的样本状态进行强化学习得到的；在强化学习过程中，所述评分模型基于遗憾值集合，以及当前样本状态进行评分探索，所述遗憾值集合存储有历史状态及其对应的遗憾值，所述遗憾值基于所述历史状态下各候选评分的优势确定，所述历史状态是在所述当前样本状态之前的样本状态，所述候选评分为评分空间中可供选择的评分。

2.根据权利要求1所述的基于遗憾探索的推荐方法，其特征在于，所述评分模型基于遗憾值集合，以及当前样本状态进行评分探索，包括：

确定当前产生的随机数；

若所述随机数大于等于预设的探索概率，则所述评分模型基于所述当前样本状态进行评分利用；

否则，则所述评分模型基于遗憾值集合，以及当前样本状态进行评分探索。

3.根据权利要求1所述的基于遗憾探索的推荐方法，其特征在于，所述遗憾值是基于如下公式确定的：

其中，为所述历史状态下第个候选评分的遗憾值，为所述历史状态的价值，为所述历史状态下第个候选评分的优势，为所述历史状态，为所述第个候选评分。

4.根据权利要求1至3中任一项所述的基于遗憾探索的推荐方法，其特征在于，所述基于遗憾值集合，以及当前样本状态进行评分探索，包括：

若所述遗憾值集合中包括所述当前样本状态，则从所述遗憾值集合中获取所述当前样本状态对应的各遗憾值，并将所述各遗憾值中最大值对应的候选评分作为当前评分；

否则，则在所述遗憾值集合中将所述当前样本状态下各候选评分的遗憾值设置为初始值，并将从所述各候选评分中等概率选择的候选评分作为当前评分。

5.根据权利要求1至3中任一项所述的基于遗憾探索的推荐方法，其特征在于，所述评分模型基于遗憾值集合，以及当前样本状态进行评分探索，之后还包括：

若所述遗憾值集合中包括所述当前样本状态，则所述评分模型基于所述当前样本状态下各候选评分的优势确定各候选评分的当前遗憾值，并基于所述各候选评分的当前遗憾值，更新所述遗憾值集合中所述当前样本状态对应的各遗憾值。

6.根据权利要求2所述的基于遗憾探索的推荐方法，其特征在于，所述基于所述当前样本状态进行评分利用，包括：

基于所述当前样本状态的价值以及所述当前样本状态下各候选评分的优势，确定所述当前样本状态下各候选评分的价值；

将所述各候选评分的价值中最大值对应的候选评分作为当前评分。

7.一种基于遗憾探索的推荐装置，其特征在于，包括：

确定模块，用于基于目标用户的用户特征和各候选对象的对象特征，确定各候选对象的状态；

输入模块，用于将所述各候选对象的状态输入至评分模型，得到所述评分模型输出的所述各候选对象的评分；

推荐模块，用于基于所述各候选对象的评分，确定向所述目标用户推荐的对象；

所述评分模型是基于样本对象的样本状态进行强化学习得到的；在强化学习过程中，所述评分模型基于遗憾值集合，以及当前样本状态进行评分探索，所述遗憾值集合存储有历史状态及其对应的遗憾值，所述遗憾值基于所述历史状态下各候选评分的优势确定，所述历史状态是在所述当前样本状态之前的样本状态，所述候选评分为评分空间中可供选择的评分。

8.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6任一项所述基于遗憾探索的推荐方法的步骤。

9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述基于遗憾探索的推荐方法的步骤。