[发明专利]基于多元数据和原子化算法的智能分析方法和系统

说明书

本发明公开了基于多元数据和原子化算法的智能分析方法和系统，能够形成高度可定制、可快速迭代的可视化展示报表内容，而且保证关联信息充分分析，确保不遗漏重要内容。其技术方案为：接收海量的多元数据并进行加工处理；基于加工处理后的多元数据，处理后形成垂直领域的图节点和实体关系对，图节点和实体关系对融合为异构图数据后存入图数据库中；基于多个原子化的算法模块，对异构图数据进行处理；基于原子化的算法模块工作流处理后的数据，基于通用分析方式生成分析报告。

技术领域

本发明涉及信息分析领域，具体涉及一种基于多元数据和原子化算法的智能分析方法和系统。

背景技术

面对各渠道海量数据信息，垂直领域的业务人员迫切需要通过智能化手段，解决定制化内容抽取展示的需求。同时，业务实体间存在一定的隐含关系，这些关系对于业务专家而言是常识性知识，但对于普通的业务操作人员，需要大量时间经验的积累才能获得。

因此，如何实现报表的高度定制化要求，以及降低报告分析的业务知识门槛，是目前业界亟待解决的问题。

发明内容

以下给出一个或多个方面的简要概述以提供对这些方面的基本理解。此概述不是所有构想到的方面的详尽综览，并且既非旨在指认出所有方面的关键性或决定性要素亦非试图界定任何或所有方面的范围。其唯一的目的是要以简化形式给出一个或多个方面的一些概念以为稍后给出的更加详细的描述之序。

本发明的目的在于解决上述问题，提供了一种基于多元数据和原子化算法的智能分析方法和系统，能够形成高度可定制、可快速迭代的可视化展示报表内容，而且保证关联信息充分分析，确保不遗漏重要内容。

本发明的技术方案为：本发明揭示了一种基于多元数据和原子化算法的智能分析方法，方法包括：

步骤1：接收海量的多元数据并进行加工处理；

步骤2：基于加工处理后的多元数据，处理后形成垂直领域的图节点和实体关系对，图节点和实体关系对融合为异构图数据后存入图数据库中；

步骤3：基于多个原子化的算法模块，对异构图数据进行处理；

步骤4：基于原子化的算法模块工作流处理后的数据，基于通用分析方式生成分析报告。

根据本发明的基于多元数据和原子化算法的智能分析方法的一实施例，在步骤1中，接收到的数据包括行情数据和文本数据两类，其中对于文本数据还进行加工处理，加工处理包括数据去重、数据去噪、数据清洗、信息提取和数据过滤在内的操作，加工处理后的数据通过HDFS上的kafka消费，再存储至ES集群。

根据本发明的基于多元数据和原子化算法的智能分析方法的一实施例，在步骤2中，形成垂直领域的图节点和实体关系对之前的处理包括：实体识别、实体链接、实体消歧、三元组抽取。

根据本发明的基于多元数据和原子化算法的智能分析方法的一实施例，在步骤3中，算法模块是单独封装的，且设置通用的输入输出接口，多个原子化的算法模块进行动态的组合配置以实现定制化的需求。

根据本发明的基于多元数据和原子化算法的智能分析方法的一实施例，在步骤3中，原子化的算法模块对异构图数据的处理是并行化的处理，其中并行化处理的调用路径是动态调节的。

根据本发明的基于多元数据和原子化算法的智能分析方法的一实施例，步骤4中是一个通用分析方式进行单独分析，或是多个通用分析方式搭配在一起的组合分析。

根据本发明的基于多元数据和原子化算法的智能分析方法的一实施例，方法还包括：

步骤5：实现低代码的智能分析报告组合。

本发明还揭示了一种基于多元数据和原子化算法的智能分析系统，系统包括：

接收模块，配置为接收海量的多元数据并进行加工处理；