[发明专利]利用协同过滤、强化学习和消极反馈的包容性集合来生成数字推荐

说明书

本公开的实施例涉及利用协同过滤、强化学习和消极反馈的包容性集合来生成数字推荐。本公开涉及利用协同过滤和具有动作方‑评论方框架的强化学习模型跨客户端设备提供数字内容项的系统、方法和非暂态计算机可读介质。特别地，在一个或多个实施例中，所公开的系统(例如，利用协同过滤模型)监测客户端设备与一个或多个数字内容项的交互以生成项嵌入。所公开的系统进一步利用强化学习模型，基于用户交互来生成推荐(例如，确定要提供给客户端设备的一个或多个附加数字内容项)。在一些实现中，所公开的系统利用强化学习模型来分析在生成推荐时观察到的每个消极和积极交互。此外，所公开的系统利用强化学习模型来分析在生成推荐时对数字内容项之间的关系进行编码的项嵌入。

背景技术

近年来，在硬件和软件平台中取得了显著的进步，这些平台生成数字推荐并且向计算设备提供数字推荐。例如，许多常规的系统基于与计算设备相关联的用户偏好和/或与计算设备相关联的属性和与一个或多个其他计算设备相关联的属性之间的相似性(例如，它们相应用户的属性之间的相似性)向计算设备推荐数字内容项。尽管常规的系统可以生成有针对性的推荐，但是这样的系统通常无法灵活地考虑数字内容项之间的关系和/或适应动态用户偏好/特征，从而导致不准确的数字推荐和计算机资源的低效利用。

关于常规的推荐系统存在这些以及附加的问题和议题。

发明内容

本文中所描述的一个或多个实施例通过利用协同过滤和强化学习来灵活地生成针对与客户端设备相对应的动态特征的准确数字推荐的系统、方法和非暂态计算机可读介质，提供益处和/或解决本领域中的一个或多个前述或其他问题。特别地，在一个或多个实施例中，所公开的系统实现了具有动作方-评论方框架的强化学习模型，以捕获客户端设备和用户特征或兴趣的动态变化。此外，所公开的系统在生成数字推荐时利用数字内容项之间的关系(例如，经由协同过滤确定的)。例如，在一个或多个实施例中，所公开的系统将数字内容项关系集成到客户端设备与数字内容项的历史交互中以表示相关联的特征和偏好。在一些实现中，所公开的系统利用从客户端设备观察到的积极交互和消极交互的整体来确定与客户端设备相关联的特征/偏好。因此，所公开的系统灵活地确定特征的变化并且整合项关系以生成更准确地反映与客户端设备相关联的特征的数字推荐。此外，所公开的系统利用嵌入空间内的邻域搜索方法，该邻域搜索方法在选择用于推荐的项时对项关系进行编码以在大搜索空间中更高效地操作。

在以下描述中概述了本公开的一个或多个实施例的附加特征和优点。

附图说明

本公开将通过参考附图用附加的具体细节描述本发明的一个或多个实施例。以下段落简要地描述了那些附图，在附图中：

图1图示了根据一个或多个实施例的顺序推荐系统在其中操作的示例环境；

图2图示了根据一个或多个实施例的生成推荐的顺序推荐系统的概览图；

图3图示了根据一个或多个实施例的用于针对多个数字内容项生成项嵌入的集合的示图；

图4A-图4D图示了根据一个或多个实施例的利用客户端设备的用户交互来生成交互图的示图；

图4E图示了根据一个或多个实施例的与客户端设备的多个交互会话相关联的交互图的示图；

图5A图示了根据一个或多个实施例的强化学习模型的架构；

图5B图示了根据一个或多个实施例的用于生成客户端设备的积极状态和消极状态的多个卷积门控递归单元神经网络层；

图6图示了根据一个或多个实施例的为了确定顺序推荐系统的有效性而利用的顺序推荐系统的各种实施例的表；

图7A-图7B图示了根据一个或多个实施例的反映在确定顺序推荐系统的有效性时使用的数据的表；

图8A-图8B图示了根据一个或多个实施例的反映关于顺序推荐系统的有效性的实验结果的表；