[发明专利]图中的手写识别的系统和方法

说明书

提供了一种用于在计算设备上手绘包括文本要素和非文本要素在内的图的系统，计算设备包括处理器以及用于在处理器的控制下检测和识别手绘图要素输入的至少一个非暂时性计算机可读介质，至少一个非暂时性计算机可读介质被配置为：使得在与计算设备相关联的显示设备上以交互式数字墨水显示多个输入图要素；根据每个图要素的类别和类型，将所述图要素中一个或多个图要素与所述图要素中其他一个或多个图要素相关联；以及基于接收到的与数字墨水的一个或多个交互，并且根据一个或多个关联，使得重新显示所述图要素。

相关申请的交叉引用

本申请要求于2015年10月19日提交的欧洲申请No.15290271.4 和于2015年12月1日提交的、要求欧洲申请No.15290271.4的优先权的美国申请No.14/955,155的优先权，其全部内容通过引用合并于此。

技术领域

本公开总体涉及能够识别各种图形和文本的用户输入手写的计算设备接口的领域。具体地，本公开提供了用于检测和识别输入手写图要素以产生数字图文档的系统和方法。

背景技术

计算设备在日常生活中不断变得越来越普遍。它们采取如下形式：台式计算机、膝上型计算机、平板计算机、混合式计算机(2合1)、电子书阅读器、移动电话、智能电话、可穿戴计算机(包括智能手表、智能眼镜/头戴设备)、全球定位系统(GPS)单元、企业数字助手(EDA)、个人数字助手(PDA)、游戏机等。此外，计算设备被包括到车辆和设备(比如，汽车、卡车、农场设备、制造设备、建筑环境控制(例如，照明、HVAC)以及家用和商用电器)中。

计算设备通常由至少一个处理元件(比如，中央处理单元(CPU)、某种形式的存储器以及输出和输出设备)组成。各种计算设备及它们的后续使用需要各种接口和输入设备。一个这样的输入设备是触敏表面(比如，触摸屏或触摸板)，其中通过用户手指或工具(比如，笔或触写笔)和触敏表面之间的接触来接收用户输入。另一输入设备是感测用户在输入表面上做出的手势的输入表面。另一个输入设备是位置检测系统，其检测触摸或非触摸交互与非触摸物理或虚拟表面的相对位置。这些输入方法中的任何一种都可以普遍用于手写或手绘输入使用手写识别系统或方法来解释其输入的绘画和文本。

在计算设备中手写识别的一个应用是创建在计算设备上手绘的、将被转换为排版版本的图。所述图是说明或示出布置和(各部分的) 关系的图。图通常包括具有任意或特定含义的形状以及与这些形状有关系的文本。存在许多类型的图，如流程图、组织结构图、概念图、蜘蛛图、块/架构图、思维导图、框图、维恩图和金字塔。图1至图6 中示出了可能的图的一些排版和手写示例的描绘。

图1A和图1B分别示出了排版和手写的示例概念图10，其具有不同的形状，以不同的方式定义了图块或容器12以及连接或指定图块 12之间的关系的不同类型的连接符14(例如，直线箭头、曲线箭头)。此外，在图1B中，容器12包含文本16。通常在概念图中，块之间的连接定义了由这些块中的文本定义的在概念上相关或从属的要素或主题。块之间的关系可以使用连接符上的标签来简述。块本身可以不存在于概念图中，而是可以由连接符来连接文本(例如，在不具有相关联的形状或容器的文本块中定义的)。

图2A和图2B分别示出了排版和手写的示例思维导图20，其具有不同的形状，以不同的方式定义了图块或容器12、连接或指定图块 12之间的关系的不同类型的连接符14(例如，直线、曲线)、以及到思维导图的某些特征或状态的路径18。此外，在图2B中，容器12 和路径18具有相关联的文本16。通常在思维导图中，块之间的连接定义了从由这些块中的文本定义的中心要素或主题出发的可能的备选状态或关联构思，并且路径定义了由这些路径上的文本定义的每个备选状态的关键特征。块本身可以不存在于思维导图中，而是可以由连接符来连接文本(例如，在不具有相关联的形状或容器的文本块中定义的)。