[发明专利]一种用于言语障碍康复训练的多通道交互方法和系统

摘要

本发明涉及一种用于言语障碍康复训练的多通道交互方法及系统。该方法为：1）选取实物对其进行三维建模，将三维模型储存在实物数据库中；2）设定训练任务场景，在声音场景中设置声源并建立图像场景；3）用户将实物移动至特定位置并进行声音交互训练；4）拍摄用户的实物操作场景并采集用户发出的声音；5）对拍摄的实物操作图像进行处理，确定实物位置并将绘制在显示设备上；根据其位置结合语音输入内容判断是否符合训练任务要求，并在显示设备上给予相应的反馈；6）重复步骤3）～5）直至完成训练任务。本发明实现了包括实物交互、声音交互的多通道交互，可以更加生动有效地进行言语障碍的康复训练，实时性强，生动有趣，易于推广。

主权项

1.一种用于言语障碍康复训练的多通道交互方法，其步骤包括：1)选取供康复训练使用的实物并对其进行三维建模，将得到的三维模型储存在实物数据库中；2)设定训练任务场景，根据训练内容在其声音场景中设置声源，并建立图像场景；所述训练任务场景包含一次训练的完整过程，每个训练任务包含三个场景：声音场景、图像场景和实物操作场景，其中声音场景和图像场景为每个训练任务单独设定；三个场景相互对应相互映射，从每个场景均能映射到另外任意一个场景中；3)用户根据预先设定的训练任务场景，将指定实物按照任务要求移动或摆放在特定位置，并根据任务要求进行声音交互训练；用户操作实物在实物操作场景中进行交互时，其在声音场景中对应的位置会处于若干声源的作用范围内，用户会听到实物所在的位置能听到的混合声音；4)拍摄用户的实物操作场景，同时采集用户发出的声音；5)采用以下步骤5‑1)～5‑5)对拍摄的实物操作场景的图像进行处理，确定实物的位置，结合实物数据库将其绘制在显示设备上；根据其位置，结合语音输入内容判断是否符合训练任务要求，并在显示设备上给予相应的反馈；如果符合，反馈正确的信息；如果不符合，反馈相应的错误提示；5‑1)对用于言语障碍康复训练中实物交互的备选实物进行三维建模，将得到的三维模型储存在实物数据库中；并采集所述备选实物的图像特征，储存在实物数据库中；5‑2)用户根据预先设定的训练任务将指定实物移动至特定位置，同时采集用户的实物操作场景图像；5‑3)将采集的用户对该实物的操作场景图像转换为三维点云，并将表示桌面背景的点和表示使用者皮肤的点去除；5‑4)根据实物数据库中该实物的三维模型，采用计算机视觉的跟踪算法对该实物的三维点云进行三维跟踪，以确定该实物的三维位置；并通过检测实物的图像特征对所跟踪的实物进行识别；在进行所述三维跟踪时，若之前帧成功跟踪，则直接使用上一帧实物的位置作为当前帧跟踪的初始位置；若之前帧未成功跟踪，则通过检测实物的图像特征提供一个粗略的初始位置，供三维跟踪时使用；5‑5)根据该实物的三维位置，将实物数据库中存储的该实物的三维点云绘制在显示设备中；6)重复步骤3)～5)，对连续的输入进行处理，直至完成训练任务。