[发明专利]基于数据形式的应用机器学习的方法、装置和电子设备

说明书

本公开实施例涉及一种基于数据形式的应用机器学习的方法、装置和电子设备。应用机器学习的方法包括：接收用户输入的指定业务系统的信息，并确定用户选择的指定数据形式和指定数据形式相关联的指定机器学习应用；其中，指定机器学习应用中预先配置有指定业务系统的相关数据的定义信息；将指定数据形式与指定业务系统的数据接口对接；运行指定机器学习应用，以使指定机器学习应用基于指定数据形式的数据形式配置信息及指定业务系统的相关数据的定义信息，对指定数据形式的第一SDK采集的数据进行处理。本公开实施例中，通过将数据形式对接业务系统，可采集业务系统中的数据，并提供数据形式配置信息为数据处理提供依据，降低开发成本。

技术领域

本公开实施例涉及数据处理技术领域，具体涉及一种基于数据形式的应用机器学习的方法、装置、电子设备和存储介质。

背景技术

将人工智能(AI)技术在实际场景进行落地的流程包括但不限于：问题定义、数据治理、特征工程、机器学习模型建立(简称建模)、模型上线服务、反馈信息收集和模型迭代更新等过程。其中，建模是机器学习过程中的重要环节，而在建模之前的数据治理、特征工程等是为了得到建模所需的有效数据，从而使得能够得到有效的模型。

在实际应当中，很多业务系统/场景中的数据的采集、存储和整理都是业务方自己制定的规则的，或者根本没有规则可言。当AI应用需要落地该业务系统/应用时需要花费大量的时间和精力来进行数据治理。这也使得AI应用的门槛变高，阻碍AI应用的使用。

发明内容

为了解决现有技术存在的至少一个问题，本公开的至少一个实施例提供了一种基于数据形式的应用机器学习的方法、装置、电子设备和存储介质。

第一方面，本公开实施例提出一种基于数据形式的应用机器学习的方法，所述数据形式为包括第一SDK和数据形式配置信息的第二SDK，其中，所述第一SDK用于数据采集，所述数据形式配置信息为数据处理相关的定义信息的集合；所述方法包括：

接收用户输入的指定业务系统的信息，并确定用户选择的指定数据形式和所述指定数据形式相关联的指定机器学习应用；其中，所述指定机器学习应用中预先配置有所述指定业务系统的相关数据的定义信息；

将所述指定数据形式与所述指定业务系统的数据接口对接；

运行所述指定机器学习应用，以使所述指定机器学习应用基于所述指定数据形式的数据形式配置信息以及所述指定业务系统的相关数据的定义信息，对所述指定数据形式的第一SDK采集的数据进行处理。

在一些实施例中，所述指定业务系统的相关数据的定义信息包括：请求数据、反馈数据和业务数据。

在一些实施例中，所述数据形式配置信息包括：数据形式的数据表模式定义；

相应地，所述对所述指定数据形式的第一SDK采集的数据进行处理包括：基于所述指定数据形式的数据表模式定义，对所述指定数据形式的第一SDK采集的数据进行处理；将处理后的数据按照所述指定业务系统的相关数据的定义信息进行数据转换，得到所述指定业务系统的相关数据。

在一些实施例中，所述方法还包括：

将所述指定业务系统的相关数据积累到第一数据库；

基于所述第一数据库中积累的相关数据进行模型方案探索，得到模型方案；其中，所述模型方案包括以下方案子项：特征工程方案、模型算法和模型的超参数；

将探索得到的模型方案部署上线。

在一些实施例中，所述将探索得到的模型方案部署上线后，所述方法还包括：

获取所述指定数据形式的第一SDK采集的线上数据，并基于所述线上数据得到所述指定业务系统的线上相关数据；

将所述模型方案基于所述线上相关数据生成的中间数据回流到第一数据库中。