[发明专利]一种基于笔交互的图元拓扑构图方法

说明书

本发明公开一种基于笔交互的图元拓扑构图方法，涉及计算机交互领域，利用触控笔在触控屏上绘制草图；选中绘制的草图，调用基于YOLOv5神经网络的草图识别引擎进行识别，识别出规范图元信息和无关的书写信息，规范图元信息包括图元类别和位置信息；从草图的笔划数据中去除规范图元对应的草图笔划信息，将剩下的草图笔划识别为线段；根据识别出的图元类别、图元位置、线段，以及线段与图元的位置关系，判断图元连接关系，从而建立图结构表示；根据图结构表示、图元类别和线段，转化为规范化的拓扑结构图，并显示在触控屏的原绘制位置上；存储拓扑结构图，根据需要对规范图元、拓扑结构图进行编辑。

技术领域

本发明涉及计算机交互领域，具体涉及一种基于笔交互的图元拓扑构图方法。

背景技术

在日常学习、工作和生活中经常会需要一些图表辅助制定方案(例如：流程图、军事行动过程图COA等)、进行设计(例如：UML类图、电路设计图)以及理解关系(例如：UML例图、系统架构图等)。目前这些图的主流制作方式为用户采用键盘、鼠标的方式选择图形元素放置到画布上构成树状、链状或者网状的拓扑图结构，例如在visio中绘制流程图、UML类图等采取的都是这种方式。

采用键盘鼠标的构图方式目前被认为存在以下几个缺点：(1)需要用户学习掌握软件，增加了非专业用户的认知负担；(2)输入形式、内容约束较多，限制了用户即时想法的表达和呈现；(3)此外，键盘鼠标的交互输入方式并不适用于移动场景以及大屏交互场景。而在图表绘制中引入笔交互和草图识别技术可以带来键鼠输入所不具备的优势：(1)笔交互具有短学习曲线和易操作的特性，更容易幼童或老年人掌握使用；(2)笔输入支持更广泛非语言表示形式，包括非正式标记、数字、符号、图形和图表；(3)草图的自由绘制形式拉近了思维空间与物理空间的距离，可以帮助短时记忆，方便即时思路呈现。这些优点使得笔交互非常适用于如教学授课的这类场景，以草图绘制的各种图形结构的表达物体关联关系。

手绘草图是人类一种自然而直接的思路外化和交流方式，它是可视化新概念、评估已有想法、孕育新想法等的媒介。在工程和架构领域，草图适合概念设计活动，让设计者关注于设计本身(创作和抽象)，而不受限于细节。随着笔计算设备的普及，草图系统将成为笔计算设备上的重要应用。但目前人们使用草图的情况一般是：先花费大量时间用纸笔来记录他们的早期想法，当想法足够成熟时，再把这些草图想法转换成由绘图、UML图、流程图、电路设计图等组成的正式的电子文档。这种使用方式存在着冗余性和低效性。

发明内容

本发明的目的是提出一种新的基于笔交互的图元拓扑构图方法，实现了从采用笔画输入到笔绘图元构建多种结构图和基于笔交互进行图结构再修改、再编辑的功能。

为实现上述目的，本发明采用以下技术方案：

一种基于笔交互的图元拓扑构图方法，包括以下步骤：

利用触控笔在触控屏上绘制草图；

选中绘制的草图，调用基于YOLOv5神经网络的草图识别引擎进行识别，识别出规范图元信息和无关的书写信息，规范图元信息包括图元类别和位置信息；

从草图的笔画数据中去除规范图元对应的草图笔画信息，将剩下的草图笔画识别为线段；

根据识别出的图元类别、图元位置、线段，以及线段与图元的位置关系，判断图元连接关系，从而建立图结构表示；

根据图结构表示、图元类别和线段，转化为规范化的拓扑结构图，并显示在触控屏的原绘制位置上；

存储拓扑结构图，根据需要对规范图元、拓扑结构图进行编辑。

进一步地，预先利用训练数据对基于YOLOv5神经网络的草图识别引擎进行识别训练，直到loss值达到预期。

进一步地，训练数据包括加标准的手绘图表图片。