[发明专利]一种可动态调整的讲解方法、装置及电子设备

权利要求书

1.一种可动态调整的讲解方法，其特征在于，包括：

将讲解词转换成讲解文本图，其中所述讲解词具有一个或多个版本，不同版本所需讲解时间不同，所述讲解文本图为有向图，所述有向图的节点包含某一个版本的讲解词片段，所述有向图的有向边表示所连接的两个节点所包含的两个讲解词片段在讲解过程中能按照所述有向边的方向通顺衔接，所述两个讲解词片段属于同一个版本或分属于不同版本；

获取观众的视频和音频，识别观众的行为和参与度；

依据所述观众的行为动态控制所述讲解文本图的执行过程，执行所述讲解文本图指沿着所述有向图的起始节点到结束节点的一条路径依次访问节点，所述访问节点指讲解所述节点包含的讲解词片段；

依据所述观众的参与度动态调整所述讲解文本图的执行路径，所述执行路径指所述讲解文本图的执行过程中所访问的节点的序列；

其中依据观众的行为动态控制所述讲解文本图的执行过程，包括：

若识别到观众与讲解者说话的行为，且说话内容的意图为启动讲解时，启动讲解流程；或者，识别到所有观众都处于聆听行为时，自动启动讲解；

启动讲解后，从讲解文本图中的起始节点出发，沿着顺序边依次访问讲解文本图中的节点，直到结束节点；

在讲解过程中，部分观众行为能触发暂停讲解，即暂停访问讲解文本图中的节点，并记录当前所处的节点为暂停节点，其中触发暂停的观众行为至少包括观众间说话、与讲解者说话或者离开；

暂停讲解后，根据触发暂停的观众行为调整讲解流程；如果所述观众行为为观众间说话，则等待所述观众间说话结束后恢复讲解；如果所述观众行为为与讲解者说话，则根据说话的内容执行相应的任务，包括与观众对话或者执行语音指令，完成所述任务后恢复讲解；如果所述观众行为为离开，则终止执行所述讲解文本图；

恢复讲解时，重新访问所述暂停节点，并从所述暂停节点出发沿着顺序边依次访问所述讲解文本图中的其他节点。

2.根据权利要求1所述的可动态调整的讲解方法，其特征在于，将讲解词转换成讲解文本图，具体包括：

对于只具有一个版本的讲解词，在讲解词中找到分隔点序列；分隔点的位置根据讲解被打断后恢复讲解时的合理起始位置定义，即两个前后连续的分隔点之间的文本若在讲解中被打断，则在恢复讲解时必须从所述两个连续的分隔点中的第一个分隔点开始讲解所述两个前后连续的分隔点之间的文本；每两个连续的所述分隔点之间的文本为一个讲解词片段；

以所述讲解词片段为节点构建有向图，称为讲解文本图，所述讲解文本图中每个节点包含一个所述讲解词片段；

若两个所述讲解词片段在所述讲解词中为前后顺序关系，则将所述讲解文本图中相应的两个节点用有向边连接，所述有向边称为顺序边，所述有向边的方向表示讲解的先后顺序；

将包含所述讲解词中第一个片段的节点作为所述讲解文本图的起始节点，将包含所述讲解词中最后一个片段的节点作为所述讲解文本图的结束节点。

3.根据权利要求1所述的可动态调整的讲解方法，其特征在于，将讲解词转换成讲解文本图，具体包括：

对于具有多个版本的讲解词，选定一个版本作为默认版本，对每一个版本都独立构建所述讲解文本图，得到对应不同版本的多个所述讲解文本图；

对于任何位于不同版本的所述讲解文本图的两个节点，若所述两个节点所包含的两个所述讲解词片段在讲解时能通顺衔接，则将所述两个节点用一条有向边连接，所述有向边称为过渡边，所述有向边的方向表示讲解的先后顺序；

所述过渡边将对应不同版本的多个所述讲解文本图连接成单一的所述讲解文本图；

将包含所述默认版本讲解词中第一个片段的节点作为所述单一的所述讲解文本图的起始节点，将包含所述默认版本讲解词中最后一个片段的节点作为所述单一的所述讲解文本图的结束节点。

4.根据权利要求1所述的可动态调整的讲解方法，其特征在于，获取观众的视频和音频，识别观众的行为和参与度，具体包括：

使用摄像头获取观众的视频；

使用麦克风获取观众的音频；

使用基于深度学习多模态融合的方法识别观众行为，将所述观众的视频和音频输入行为识别网络模型，得到观众的行为；

使用基于深度学习端到端的方法识别观众的参与度，将所述观众的视频输入参与度识别网络模型，得到观众的参与度。