[发明专利]一种基于点阵笔的智能听写系统及其方法

权利要求书

1.一种基于点阵笔的智能听写系统，其特征在于：包括点阵笔、客户端和云端，所述点阵笔通过内含的蓝牙通信模块(6)与客户端通信连接，所述客户端通过内含的云端接口与云端相连；所述点阵笔包括外壳(7)和安装外壳(7)内的靠近笔尖的压力传感器(1)、与压力从传感器相连接的高速摄像头和与压力传感器(1)和高速摄像头都相连接的处理器(3)，所述处理器(3)与点阵笔的存储模块电连接，并将处理后的信息存储在点阵笔的存储模块中由点阵笔的蓝牙通信模块(6)传递给客户端，并且所述外壳(7)的中下部设有握槽(71)，所述握槽(71)的凹陷方向与书写时人手握笔时的手指握笔姿势相匹配。

2.根据权利要求1所述的一种基于点阵笔的智能听写系统，其特征在于：所述处理器(3)用于处理压力传感器(1)采集的压力数据、运动速度和高速摄像头采集的点阵坐标、笔迹顺序，并将采集的信息储存在存储器(5)内。

3.根据权利要求1所述的一种基于点阵笔的智能听写系统，其特征在于：所述客户端为客户端APP或客户端小程序，包含图形用户界面、蓝牙模块和云端接口，所述图形用户界面用于显示点阵笔书写时的操作用户界面，所述蓝牙模块与点阵笔的蓝牙通讯模块相匹配。

4.根据权利要求1所述的一种基于点阵笔的智能听写系统，其特征在于：所述云端包含用于存储客户端内采集的手写数据和系统内的音频录入数据的数据库模块和用于识别笔记并进行处理的算法模块。

5.根据权利要求4所述的一种基于点阵笔的智能听写系统，其特征在于：所述数据库模块包括单词数据子模块、音频数据子模块、手写体数据子模块和听写历史数据子模块，所述算法模块包括内部分割算法子模块和汉字识别算法子模块。

6.一种基于点阵笔的智能听写方法，其特征在于：它包括以下步骤：

(1)点阵笔与安装客户端的智能终端蓝牙连接；

(2)用户在客户端选择课时，待确认后，顺序依次播放单词对应的音频；

(3)使用点阵笔在点阵纸上书写，笔尖处的压力传感器(1)被触发，启动内置的高速摄像头，采集笔尖信息，将点阵坐标、笔迹顺序、压力数据、运动速度等信息传递给内置的处理器(3)；

(4)书写完毕后，点击“确认”按钮，点阵笔中存储信息经蓝牙模块传递给客户端，客户端将步骤(3)中采集的信息处理成位图文档，然后上传到云端，由云端内的笔迹信息处理算法子模块处理；

(5)云端中的算法模块根据内部分隔算法和汉字识别算法进行识别统计，数据库模块存储数据，根据学习内容不同的听写状态，在客户端以不同的颜色展示，并且用户界面中以图形方式呈现用户全部学习内容或知识点的状态。

7.根据权利要求4所述的基于点阵笔的智能听写方法，其特征在于：所述步骤(5)中的内部分隔算法为单词或词组内部分割算法，算法的具体步骤为

51、收集手写字母或汉字数据集，统计字符宽度，包括最小字符宽度Dmin、最大字符宽度Dmax以及平均字符宽度Dmean；

52、对步骤51中位图文件进行二值化，并去除干扰噪点；

53、对字符进行分割；探测图片上的黑色像素点，得到一个字符区块并在该字符区块之外的另一个黑点开始继续执行探测过程直到图片上的所有黑点都被检测到，确定若干个字符的区块；

54、针对黏连字符区块：考察各个区块的宽度L，如果LDmax,则认为是黏连字符区块。

8.根据权利要求4所述的基于点阵笔的智能听写方法，其特征在于：所述步骤5中的汉字识别算法为手写字母或手写汉字的识别算法，具体的识别步骤为首先收集手写字母或汉字数据集，并标明每个样本的真实含义，将这些数据划分为训练集和验证集；然后用训练集对卷积神经网络进行训练，用测试集对训练效果进行测试，不断调整网络，直到网络对验证集的识别准确率超过可接受的阈值比。

9.根据权利要求4所述的基于点阵笔的智能听写方法，其特征在于：所述步骤(5)中的听写状态设有：没有听写过，听写过正确，听写过错误。

10.根据权利要求4所述的基于点阵笔的智能听写方，其特征在于：所述步骤(5)中用若干个带有颜色的色块来表示每一个学习内容或知识点，绿色代表已掌握，红色代表未掌握，灰色代表未接触。