[发明专利]对机器学习过程的数据处理步骤进行可视化的方法和系统

说明书

提供一种对机器学习过程的数据处理步骤进行可视化的方法和系统。所述方法包括：对预先定义的机器学习过程的数据处理步骤进行解析，以获取所述数据处理步骤的概况信息，其中，所述概况信息包括数据处理步骤的数据信息和/或处理信息；基于获取的概况信息来生成用于描绘所述机器学习过程的数据处理步骤的理解视图；以及以图形化方式展示所述理解视图。

技术领域

本发明涉及机器学习领域，更具体地讲，涉及对机器学习过程的数据处理步骤进行可视化的方法和系统。

背景技术

随着大数据时代的到来，很多行业产生海量数据，并且数据种类、数据规模和数据维度都在不断膨胀。为了从海量数据中发现知识和价值，机器学习技术的应用越来越广泛。

这里，数据作为机器学习过程的原材料，对于机器学习模型的效果具有重要的意义，而为了能将数据应用于机器学习，往往需要对数据执行相应的处理，例如，数据清洗、数据填充、数据拼接或特征抽取等。

实践中，数据处理过程可通过运行程序员编写的代码来实现，也可由机器学习平台根据用户输入的脚本、配置和/或交互操作来实现，整个数据处理过程往往涉及庞大的数据量或复杂的处理操作。现有的机器学习平台与用户之间的交互性较差，一般用户无法直观地了解数据处理过程的逻辑思路和工作细节，导致例如在机器学习过程出现问题时，用户难以快速确定数据处理过程中的哪个步骤发生异常或错误。因此，对机器学习技术的应用和推广带来诸多不便。

发明内容

根据本发明的示例性实施例，提供一种对机器学习过程的数据处理步骤进行可视化的方法，所述方法包括：对预先定义的机器学习过程的数据处理步骤进行解析，以获取所述数据处理步骤的概况信息，其中，所述概况信息包括数据处理步骤的数据信息和/或处理信息；基于获取的概况信息来生成用于描绘所述机器学习过程的数据处理步骤的理解视图；以及以图形化方式展示所述理解视图。

可选地，所述概况信息包括所述数据处理步骤的名称、所述数据处理步骤的输出表的名称、输出表的行数、输出表的列数、输出表的字段名称、处理过程和用户添加的步骤描述之中的至少一项。

可选地，所述理解视图为表示所述机器学习过程的数据处理步骤的流程图，其中，所述流程图中的节点分别对应于每个数据处理步骤；并且，以图形化方式展示所述理解视图的处理包括：通过在每个节点的显示控件中列出对应的数据处理步骤的概况信息来展示所述机器学习过程的数据处理步骤。

可选地，在每个节点的显示控件中列出对应的数据处理步骤的概况信息的处理包括：在每个节点的显示控件中默认列出对应的数据处理步骤的概况信息之中的首要展示信息；以及响应于用户对显示控件的操作，在显示控件中进一步列出对应的数据处理步骤的概况信息之中的补充展示信息。

可选地，首要展示信息包括数据处理步骤的名称、输出表的名称、输出表的行数、输出表的列数和用于添加的步骤描述之中的至少一项，并且/或者，补充展示信息包括输出表的至少一部分字段名称和/或所述数据处理步骤的至少一部分处理过程。

可选地，在每个节点的显示控件中列出对应的数据处理步骤的概况信息的处理包括：根据显示控件中列出的概况信息的内容来自适应地调整显示控件的大小。

可选地，在每个节点的显示控件中列出对应的数据处理步骤的概况信息的处理还包括：在每个节点的显示控件中以突出的视觉效果列出对应的数据处理步骤的输出表的字段名称之中的新生成的字段名称。

可选地，在每个节点的显示控件中列出的概况信息包括对应的数据处理步骤的输出表的所有字段名称，其中，具有相同初始来源表的字段名称被排列在一起。

可选地，以图形化方式展示所述理解视图的处理还包括：在所有节点的显示控件中按照相同的视觉效果来列出具有相同初始来源表的字段名称。

可选地，所述数据处理步骤的处理过程在节点的显示控件中通过子流程图的形式被列出。