[发明专利]基于机器学习的数据分析方法、装置、设备及存储介质

说明书

本发明实施例涉及人工智能领域，公开了一种基于机器学习的数据分析方法、装置、设备及存储介质，该方法包括：调用SDK接口获取一个或多个业务终端发送的数据分析请求，数据分析请求中携带指定格式的一个或多个业务应用的日志信息以及数据分析标识；选取与数据分析标识对应的预训练的数据分析模型；将日志信息输入预训练的数据分析模型，得到数据分析结果；当根据数据分析结果确定出存在异常数据的目标业务应用时，向目标业务应用对应的目标业务终端发送通知消息，通知消息用于通知目标业务终端处理异常数据，从而提高数据分析的能力和效率。本发明涉及区块链技术，如可将日志信息写入区块链中，以用于数据取证等场景。

技术领域

本发明涉及人工智能领域，尤其涉及一种基于机器学习的数据分析方法、装置、设备及存储介质。

背景技术

目前，使用大数据技术进行流式数据的处理，从日志搜集到实时数据进行处理或分析都需要专业的大数据工程师进行编码实现。跨系统的日志整合需要做很多数据清洗的工作，使用门槛比较高，导致很多系统都没有专门做日志分析、数字化运营的能力。因此，如何更有效地提高自动化运营的能力，提高数据分析的效率成为研究的重点。

发明内容

本发明实施例提供了一种基于机器学习的数据分析方法、装置、设备及存储介质，可以提高自动化运营的能力、数据分析的能力以及数据分析的效率。

第一方面，本发明实施例提供了一种基于机器学习的数据分析方法，应用于大数据平台，所述大数据平台上设置了SDK接口，所述方法包括：

调用所述SDK接口获取一个或多个业务终端发送的数据分析请求，所述数据分析请求中携带了指定格式的一个或多个业务应用的日志信息以及数据分析标识，其中，所述SDK接口中配置了指定规则，所述指定规则用于指示各个业务终端在发送所述一个或多个业务应用的日志信息之前，按照所述指定规则对各个业务应用的日志信息进行处理；

根据所述数据分析标识从所述大数据平台中选取与所述数据分析标识对应的预训练的数据分析模型；

将所述指定格式的一个或多个业务应用的日志信息输入从所述大数据平台选取的所述预训练的数据分析模型，得到数据分析结果；

当根据所述数据分析结果确定出存在异常数据的目标业务应用时，向存在异常数据的目标业务应用对应的目标业务终端发送通知消息，所述通知消息用于通知所述目标业务终端处理所述异常数据。

进一步地，所述将所述指定格式的一个或多个业务应用的日志信息输入从所述大数据平台选取的所述预训练的数据分析模型，得到数据分析结果，包括：

从所述指定格式的各个业务应用的日志信息中获取一个或多个第一指定字段；

将所述一个或多个第一指定字段中的第一字段日志信息输入所述预训练的数据分析模型，得到所述数据分析结。

进一步地，所述将所述指定格式的一个或多个业务应用的日志信息输入从所述大数据平台选取的所述预训练的数据分析模型，得到数据分析结果，包括：

根据所述数据分析请求中携带的数据分析标识，确定数据分析的类型；

根据所述数据分析的类型从所述指定格式的各个业务应用的日志信息中选取与所述数据分析的类型对应的一个或多个第二指定字段；

将所述一个或多个第二指定字段中的第二字段日志信息输入所述预训练的数据分析模型，得到所述数据分析结果。

进一步地，所述当根据所述数据分析结果确定出存在异常数据的目标业务应用时，向存在异常数据的目标业务应用对应的目标业务终端发送通知消息，包括：

根据所述数据分析结果确定所述各个业务应用中是否存在异常数据；