[发明专利]文本识别方法、答案文本的验证方法、装置、设备及介质在审
申请号: | 202211338240.3 | 申请日: | 2022-10-28 |
公开(公告)号: | CN115620314A | 公开(公告)日: | 2023-01-17 |
发明(设计)人: | 侯琦;李翌昕;林辉;段亦涛 | 申请(专利权)人: | 网易有道信息技术(北京)有限公司 |
主分类号: | G06V30/32 | 分类号: | G06V30/32;G06V10/82;G06V10/80;G06N3/04;G06N3/08 |
代理公司: | 北京华夏泰和知识产权代理有限公司 11662 | 代理人: | 张亚辉 |
地址: | 100085 北京市海淀区西北*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 文本 识别 方法 答案 验证 装置 设备 介质 | ||
1.一种文本识别方法,其特征在于,所述方法包括:
获取目标轨迹点序列,其中,所述目标轨迹点序列包括从待识别文本的动态笔迹中采集到的多个且连续的轨迹点;
根据所述目标轨迹点序列,确定所述待识别文本对应的第一笔画特征以及确定所述待识别文本对应的第二笔画特征,其中,所述第一笔画特征至少含有书写所述待识别文本的时序特征,所述第二笔画特征为从含有所述待识别文本的文本图像中提取的图片特征;
对所述第一笔画特征和所述第二笔画特征进行特征融合,得到融合特征;
通过识别所述融合特征,识别所述待识别文本。
2.根据权利要求1所述的方法,其特征在于,所述确定所述待识别文本对应的第一笔画特征包括:
通过对所述目标轨迹点序列进行特征提取,得到所述待识别文本包括的多个笔画对应的多个笔画特征序列,其中,每个笔画包括多个轨迹点,每个笔画对应的笔画特征序列包括所有轨迹点的位置信息以及时间戳;
将所述多个笔画特征序列输入基于LSTM的预测模型进行时序学习,得到所述第一笔画特征。
3.根据权利要求2所述的方法,其特征在于,所述通过对所述目标轨迹点序列进行特征提取,得到所述待识别文本包括的多个笔画对应的多个笔画特征序列包括:
将所述目标轨迹点序列输入贝塞尔模型;
依据各个轨迹点的位置信息和时间戳,利用贝塞尔曲线拟合所述目标轨迹点序列对应的所有笔画;
将拟合每个笔画对应的拟合参数作为对应笔画的笔画特征序列;
输出所有笔画对应的笔画特征序列。
4.根据权利要求3所述的方法,其特征在于,所述利用贝塞尔曲线拟合所述目标轨迹点序列对应的所有笔画包括:
针对所有笔画中的任一目标笔画,当拟合所述目标笔画失败的情况下,确定所述目标笔画对应的目标曲线;
从所述目标曲线的起始点开始,截取所述目标曲线中的预设距离的起始线段;
拟合所述起始线段对应的笔画,并计算所述起始线段对应的拟合误差;
若所述拟合误差小于等于阈值时,继续所述目标曲线中除所述起始线段的下一个线段的拟合操作;若所述拟合误差大于所述阈值时,在所述起始线段对应的曲率最大值时,分裂所述起始线段,继续拟合所述起始线段分裂后的起始线段。
5.根据权利要求3所述的方法,其特征在于,所述确定所述待识别文本对应的第二笔画特征包括:
通过对所述目标轨迹点序列进行轨迹渲染,生成所述文本图像,其中,所述文本图像包括所述待识别文本;
将所述文本图像输入卷积神经网络,以输出所述文本图像对应的图像特征;
根据每个笔画对应的贝塞尔曲线和所述图像特征,生成所述第二笔画特征。
6.根据权利要求5所述的方法,其特征在于,所述通过对所述目标轨迹点序列进行轨迹渲染,生成所述文本图像,包括:
根据所述目标轨迹点序列中每个轨迹点的时间戳和位置坐标,依次连接各个轨迹点,生成所述文本图像。
7.根据权利要求5所述的方法,其特征在于,所述根据每个笔画对应的贝塞尔曲线和所述图像特征,生成所述第二笔画特征,包括:
根据每个笔画对应的贝塞尔曲线,生成每个笔画对应的文本框;
基于各个笔画对应的文本框,确定各个笔画对应的原始图像尺寸;
根据各个笔画对应的原始图像尺寸,调整所述图像特征对应的图像尺寸信息,得到所述第二笔画特征。
8.根据权利要求1所述的方法,其特征在于,所述对所述第一笔画特征和所述第二笔画特征进行特征融合,得到融合特征,包括:
关联所述第一笔画特征与所述第二笔画特征,以使所述第一笔画特征与所述第二笔画特征对应;
基于笔画维度,对所述第一笔画特征和所述第二笔画特征进行拼接,得到所述融合特征。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于网易有道信息技术(北京)有限公司,未经网易有道信息技术(北京)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202211338240.3/1.html,转载请声明来源钻瓜专利网。