[发明专利]辅助阅读方法、设备、存储介质及程序产品在审
申请号: | 202310188807.1 | 申请日: | 2023-02-21 |
公开(公告)号: | CN116091737A | 公开(公告)日: | 2023-05-09 |
发明(设计)人: | 郭嘉;方迟 | 申请(专利权)人: | 北京字跳网络技术有限公司 |
主分类号: | G06T19/00 | 分类号: | G06T19/00;G06T17/00;G06F40/30;G06V30/10;G06F3/01 |
代理公司: | 上海光栅知识产权代理有限公司 31340 | 代理人: | 于江微;关浩 |
地址: | 100190 北京市*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 辅助 阅读 方法 设备 存储 介质 程序 产品 | ||
1.一种辅助阅读方法,其特征在于,包括:
获取当前阅读内容的特征对象和真实环境的物理边界;
根据所述特征对象和所述物理边界,确定所述当前阅读内容对应的虚拟图像;
将所述虚拟图像进行推送。
2.根据权利要求1所述的方法,其特征在于,所述根据所述特征对象和所述物理边界,确定所述当前阅读内容对应的虚拟图像,包括:
根据所述特征对象,确定所述当前阅读内容对应的虚拟对象;
根据所述物理边界,对所述虚拟对象进行布局,获得所述当前阅读内容对应的虚拟图像。
3.根据权利要求2所述的方法,其特征在于,所述根据所述特征对象,确定所述当前阅读内容对应的虚拟对象,包括:
将所述特征对象输入神经网络模型,生成所述当前阅读内容对应的虚拟对象。
4.根据权利要求2所述的方法,其特征在于,所述根据所述物理边界,对所述虚拟对象进行布局,获得所述当前阅读内容对应的虚拟图像,包括:
根据所述物理边界,确定所述虚拟对象的尺寸和位置;
根据所述虚拟对象的尺寸和位置,生成所述当前阅读内容对应的虚拟图像。
5.根据权利要求2所述的方法,其特征在于,所述虚拟对象包括可触控对象;所述方法还包括:
响应作用于所述可触控对象的触控操作,对当前的虚拟图像进行更新,获得新的虚拟图像并显示。
6.根据权利要求5所述的方法,其特征在于,所述对当前的虚拟图像进行更新,获得新的虚拟图像并显示,包括:
将所述可触控对象的状态进行更新,获得新的虚拟图像并显示;
或,
生成允许更新指令,根据所述允许更新指令和新的阅读内容对当前的虚拟图像进行更新,获得新的虚拟图像并显示。
7.根据权利要求1-6任一项所述的方法,其特征在于,所述获取真实环境的物理边界,包括:
获取真实环境的点云数据,并根据真实环境的点云数据,确定所述真实环境的物理边界。
8.根据权利要求7所述的方法,其特征在于,所述获取真实环境的点云数据,并根据真实环境的点云数据,确定所述真实环境的物理边界,包括:
对真实环境进行点云检测,获得所述真实环境的点云数据;
对所述点云数据进行识别处理,获得所述真实环境中的物理对象;
根据所述物理对象的边界信息,确定所述真实环境的物理边界。
9.根据权利要求1-6任一项所述的方法,其特征在于,所述获取当前阅读内容的特征对象,包括:
获取当前阅读内容的真实图像;
对所述真实图像进行图像识别,获得所述当前阅读内容的特征对象;
或,
获取当前阅读内容的音频数据;
对所述音频数据进行语音识别,获得所述当前阅读内容的特征对象;
或,
获取用户阅读当前阅读内容时的眼动数据;
根据所述眼动数据,确定所述当前阅读内容的特征对象。
10.根据权利要求1-6任一项所述的方法,其特征在于,所述获取所述特征对象之后,还包括:
根据所述特征对象,确定所述当前阅读内容对应的音频信息和/或触觉信息;
将所述音频信息和/或触觉信息进行推送。
11.根据权利要求1-6任一项所述的方法,其特征在于,所述获取当前阅读内容的特征对象之前,还包括:
获取用户朗读上一阅读内容的音频数据;
对所述音频数据进行语音识别,并根据识别结果确定所述上一阅读内容的难度级别是否高于用户的能力级别;
若是,则对所述上一阅读内容进行文本处理,生成难度级别与所述能力级别相匹配的当前阅读内容。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京字跳网络技术有限公司,未经北京字跳网络技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202310188807.1/1.html,转载请声明来源钻瓜专利网。