[发明专利]排序数据的处理方法、装置及存储介质、服务器

说明书

本发明涉及数据分析、关系网络分析、智能推荐技术领域，本申请实施例提供的一种排序数据的处理方法，包括：获取用户信息以及商品信息，对用户信息和商品信息进行转码，得到推荐排序参数，将推荐排序参数缓存到redis中，形成批处理的推荐排序参数数据集；从redis中获取并切分该批处理的推荐排序参数数据集，形成若干子推荐排序参数数据集；建立各线程与各子推荐排序参数数据集的关联关系，通过线程请求数据流服务器分别计算各子推荐排序参数数据集中的推荐排序参数进行计算，并对商品进行排序。通过对数据提前转码并缓存，减少精排过程中数据计算过程，并加快了数据读取速率；对数据切分之后，能合理分配各线程处理数据的量，均衡各线程的网络开销。

技术领域

本发明涉及数据分析、关系网络分析、智能推荐技术领域，具体涉及一种排序数据的处理方法、装置及存储介质、服务器。

背景技术

推荐系统为对用户的基本属性、购买能力、行为特征或者用户使用过的内容等特征进行计算，进而形成可以向用户推荐商品、服务、应用程序等消息的系统。推荐系统在对特征计算过程中包括粗排和精排，粗排即为粗排序，在在粗排动执行过程时，常常称为召回，召回可以理解为向用户粗选一批待推荐的商品。在召回的基础上加一层点击率预估的排序模型，即对粗选的一批待推荐模型商品进行点击率计算，基于商品点击率对待推荐商品进行排序，即为精排，该动作执行过程常常称为排序。目前，推荐系统做商品推荐精排的时候，请求方会将用户信息和召回的商品信息，转化成模型输入的格式，然后作为一个batch发送给Tensorflow serving(数据流服务器)。而随着互联网技术的发展，使得batch(批处理)的数据量比较大，进而使得参数打包、传输网络开销和模型计算都比较耗时长。另外，推荐系统是一个高并发低延时的特点，需要从海量的数据中获取针对性的数据进行计算，当推荐系统每次进行精排计算都花费较长的时间，而系统的处理能力又具有上限时，会导致整个推荐系统的处理能力下降，即数据的吞吐量降低，不能够实时地对用户信息和商品信息进行计算，得到较优商品排序序列，使得用户不能够很好地使用到系统推荐的商品，进而降低用户使用应用程序的体验。

发明内容

为克服以上技术问题，特别是对召回数据处理过程中参数打包、传输网络开销和排序模型计算耗时长，导致整个推荐系统处理能力下降的问题，特提出以下技术方案：

本申请实施例提供的一种排序数据的处理方法，包括：

获取用户信息以及商品信息，对所述用户信息和商品信息进行转码，得到推荐排序参数，将所述推荐排序参数缓存到redis数据库中，形成批处理的推荐排序参数数据集；

从redis数据库中获取所述批处理的推荐排序参数数据集，并将所述批处理的推荐排序参数数据集进行切分，形成若干子推荐排序参数数据集；

建立各线程与各所述子推荐排序参数数据集的关联关系，通过各所述线程请求数据流服务器对关联的各所述子推荐排序参数数据集中的推荐排序参数进行计算，得到各所述子推荐排序参数数据集中推荐排序参数的排序结果，依据所述排序结果对商品进行排序。

可选地，所述从redis数据库中获取所述批处理的推荐排序参数数据集，并将所述批处理的推荐排序参数数据集进行切分，形成若干子推荐排序参数数据集，包括：

从redis数据库中获取所述批处理的推荐排序参数数据集，依据所述用户信息和商品信息确定各商品的推荐排序参数复杂等级，依据所述推荐排序参数复杂等级，对所述批处理的推荐排序参数数据集进行切分，形成若干子推荐排序参数数据集。

可选地，所述依据所述用户信息和商品信息确定各商品的推荐排序参数复杂等级，包括：

获取同一商品对应用户信息和商品信息的推荐排序参数数量；

依据所述推荐排序参数数量和预设规则确定所述同一商品的推荐排序参数复杂等级；其中，所述预设规则表示所述推荐排序参数数量与推荐排序参数复杂等级之间的映射关系。