[发明专利]因子数据获取方法、装置、计算机设备和存储介质

说明书

本申请涉及人工智能技术领域，具体涉及一种因子数据获取方法、装置、计算机设备和存储介质。方法包括：按照预设频次从多个数据源中提取数据结构不同的源数据，并将提取到的源数据作为异构多源数据；将异构多源数据加载至数据湖，并在数据湖中利用分布式处理组件对加载到的异构多源数据进行分层处理得到因子键值数据；将因子键值数据对应的因子服务部署至容器并暴露对应的调用接口，调用接口用于指示终端调取对应的需求因子数据。本申请还涉及区块链技术领域，将需求因子数据存储至区块链中，采用本方法能够提高需求因子的获取效率。

技术领域

本申请涉及人工智能技术领域，特别是涉及一种因子数据获取方法、装置、计算机设备和存储介质。

背景技术

在实际的业务场景中，往往需要从多个数据源中分别获取需求因子，由于不同数据源的数据存储结构存在差异，故而需要分别编写不同的算法对从数据源中获取到的数据进行处理得到需求因子。

但是，当数据源的数量较多时，就需要利用较多的算法执行需求因子数据的提取，进而降低从多个数据源中获取需求因子的效率。

发明内容

基于此，有必要针对上述技术问题，提供一种能够提高因子数据获取效率的方法、装置、计算机设备和存储介质。

一种因子数据获取方法，方法包括：

按照预设频次从多个数据源中提取数据结构不同的源数据，并将提取到的源数据作为异构多源数据；

将异构多源数据加载至数据湖，并在数据湖中利用分布式处理组件对加载到的异构多源数据进行分层处理得到因子键值数据；

将因子键值数据对应的因子服务部署至容器并暴露对应的调用接口，调用接口用于指示终端调取对应的需求因子数据。

在一个实施例中，在数据湖中利用分布式处理组件对加载到的异构多源数据进行分层处理得到因子键值数据，包括：

从异构多源数据中抽取目标源数据，按照预设过滤算法对目标源数据进行过滤处理得到过滤目标数据，并将过滤目标数据加载至数据仓库；

根据预设的主题类型对数据仓库中的数据进行主题类型划分得到不同主题数据库；

基于不同的主题数据库进行特征化处理得到模型数据，并对模型数据进行混合处理得到数据集市，数据集市中包括因子键值数据。

在一个实施例中，根据预设的主题类型对数据仓库中的数据进行主题类型划分得到不同主题数据库，包括：

获取业务需求，并基于业务需求确定主题类型；

根据主题类型对数据仓库中的数据进行聚类处理，得到不同主题类型分别对应的主题数据库。

在一个实施例中，基于不同的主题数据库进行特征化处理得到模型数据，并对模型数据进行混合处理得到数据集市，包括：

基于业务需求对主题数据库中的数据进行数据抽取得到抽取业务数据；

获取数据转换算法，并根据数据转换算法对抽取业务数据进行数据转换处理得到转换数据；

对转换数据进行装载处理得到装载数据，并将转载数据作为数据集市。

在一个实施例中，将因子键值数据对应的因子服务部署至容器，包括：

获取因子键值数据，以及因子键值数据对应的因子管理配置；

根据因子键值数据以及因子管理配置确定因子服务；

将因子服务部署至服务容器。

在一个实施例中，方法还包括：

接收用户业务请求，用户业务请求中携带用户信息以及待请求地址；