[发明专利]一种复合数据项标签的优选数据源访问方法及装置

说明书

本发明实施例提供一种复合数据项标签的优选数据源访问方法及装置，方法包括：针对用户终端发送的数据获取请求中数据属性字段包含至少两个数据项标签、寻找含有所有数据项标签数据源并寻找含有部分数据项标签的数据源组成的数据源组合，数据源组合包括所有数据项标签但无重复数据项标签的情况，在满足不超过最高成本上限、最长返回时间、每秒最大访问频次，最低成功率的基础上从所述第一数据源集合中选择数据源组合，从选择的数据源组合中根据数据源出现的次数优选访问数据源的策略，发送本次数据访问请求，若访问成功则将本次数据访问的结果发给用户终端。可提供对复合数据源组合更高成功率的数据源访问方式。

技术领域

本发明涉及计算机技术领域，尤其涉及一种复合数据项标签的优选数据源访问方法及装置。

背景技术

近年来，随着大数据风控技术的不断完善，为了提升模型准确率，商户需要从不同数据源获取更多的数据作为模型变量，为了提高效率和降低成本，一般都会选择从数据服务平台获取数据。而数据服务平台，作为一个中间平台，参见图3，会外接很多(第三方)数据源，这些数据源可以为平台提供相同或不同的数据项。

目前，现有技术提供了多数据源访问方法，对于用户终端发送的复合数据字段请求(即数据获取请求中数据属性字段包含至少两个数据项标签)的情况，能够基本满足数据源TPS(Transaction Per Second，每秒执行的事务数量)、满足商户对于超时时间、降低数据源成本以提升平台整体收益的要求。

对于复合数据字段，需要考虑从多个数据源中获取不同的数据字段融合后进行输出。一般来说，每个数据源都有自己的优势数据字段，价格也比较便宜，不同数据源拥有的字段是不一样的。

本申请需要考虑的是，对于没有重合数据标签的多数据源组合，如何从不同的数据源组合中找出优选的访问顺序，如何对现有的多数据源访问方法进行进一步优化，即如何选择优选的数据源，并制定合理的数据源访问顺序，以提供更高性能的数据源访问方式，以提高访问成功率。

发明内容

针对现有技术存在的问题，本发明实施例提供一种复合数据项标签的优选数据源访问方法及装置。

本发明实施例提供一种复合数据项标签的优选数据源访问方法，包括：

接收用户终端发送的数据获取请求，读取所述数据获取请求中的数据属性字段、最高成本上限MaxMoney和最长返回时间MaxTime，其中，所述数据属性字段包含至少两个数据项标签；

在所有数据源中寻找含有所述数据属性字段中所有数据项标签的数据源，以及在所有数据源中寻找含有所述数据属性字段中部分数据项标签的不同数据源组合成的数据源组合，所述数据源组合包括所述数据属性字段中所有数据项标签且但不包括重复的数据项标签，将所有寻找的数据源和数据源组合组成第一数据源集合；

基于所读取的MaxMoney和MaxTime，在满足不超过每秒最大访问频次，最低成功率的基础上从所述第一数据源集合中选择数据源组合，从选择的数据源组合中根据数据源出现的次数优选访问数据源的策略，发送本次数据访问请求；

接收所挑选的独立的数据源或数据源组合返回的本次数据访问的结果，若访问成功，则将本次数据访问的结果发送给用户终端。

本发明实施例提供一种复合数据项标签的优选数据源访问装置，包括：

第一接收模块，用于接收用户终端发送的数据获取请求，读取所述数据获取请求中的数据属性字段、最高成本上限MaxMoney和最长返回时间MaxTime，其中，所述数据属性字段包含至少两个数据项标签；

组成模块，用于在所有数据源中寻找含有所述数据属性字段中所有数据项标签的数据源，以及在所有数据源中寻找含有所述数据属性字段中部分数据项标签的不同数据源组合成的数据源组合，所述数据源组合包括所述数据属性字段中所有数据项标签且但不包括重复的数据项标签，将所有寻找的数据源和数据源组合组成第一数据源集合；