[发明专利]基于实时实例分割的下肢假肢地形识别与运动预测系统

说明书

本发明提供了一种基于实时实例分割的下肢假肢地形识别与运动预测系统，包括：双目相机采集下肢假肢周围的地形信息，图像采集与信息传输硬件平台采集双目相机得到的信息，并上传至云服务器，图像采集与信息传输硬件平台与下肢假肢控制器电连接，下肢假肢控制器控制下肢假肢的运动方式；云服务器上部署有目标地形监测模块、实例分割模块、特征匹配模块和位置尺寸计算模块，地形信息依次经过上述模块处理后，反馈至图像采集与信息传输硬件平台。本发明实现了对多运动模式下肢假肢的智能优化提升，使其能够实时精确感知周围地形分布情况，对运动控制策略及时校正与调整，提升下肢假肢穿戴者运动能力与穿戴舒适度。

技术领域

本发明涉及在复杂地形环境中下肢假肢主动式环境感知领域，具体地，涉及基于实时实例分割的下肢假肢地形识别与运动预测系统。

背景技术

下肢假肢用于辅助残疾人运动和康复训练，是一种融合了机械、电子、传感器、智能控制、传动等技术，根据残疾人人体工学结构特点设计的外置动力机械助残装置，为残疾人提供支撑、保护、运动等一系列辅助功能，下肢假肢智能化控制水平与舒适度很大程度上决定了其穿戴者的运动能力。

在公告号为CN209422174U的中国发明专利文件中，公开了一种融合视觉的动力假肢环境识别系统，包括假肢本体、动力模块、运动感应模块、视觉探测模块以及控制模块，动力模块用以使假肢本体运动，运动感应模块用以获取假肢本体的状态信息，视觉探测模块用以获取假肢本体的周边环境信息，控制模块可通过获取的假肢本体的状态信息、假肢本体的周边环境信息判断人体周围的路况及障碍物信息，并预测假肢的运动趋势、判断人体的运动意图，由此控制动力模块使假肢本体合理运动，以辅助患者适应不同路况或跨越障碍物；该系统可在患者使用假肢的过程中，提前感知人体的运动意图并持续检测人体周围的路况环境，数据反馈实时性及稳定性强，便于患者使用。

目前，传统下肢假肢存在智能化程度低、运动模式单一、策略切换时延长；对周围地形环境识别不准确、地形识别时延长、对地形无预测能力；在连续变化的复杂地形环境中实用性差等一系列问题。这些问题不仅使得下肢假肢穿戴者无法恢复较好的运动能力，甚至使得穿戴者有受伤风险。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种基于实时实例分割的下肢假肢地形识别与运动预测系统。

根据本发明提供的一种基于实时实例分割的下肢假肢地形识别与运动预测系统，本地端包括下肢假肢、下肢假肢控制器、双目相机、图像采集与信息传输硬件平台，云端包括云服务器；

所述双目相机安装在下肢假肢上，采集下肢假肢周围的地形信息，所述图像采集与信息传输硬件平台采集双目相机得到的信息，并上传至云服务器，所述下肢假肢控制器控制下肢假肢的运动方式；

所述云服务器上部署有目标地形监测模块、实例分割模块、特征匹配模块和位置尺寸计算模块，地形信息依次经过上述模块处理后，反馈至下肢假肢控制器。

优选的，所述下肢假肢包括膝关节和踝关节，所述膝关节具有一个自由度，所述踝关节具有屈伸以及外旋/内翻两个主动自由度。

优选的，所述双目像机安装于膝关节部位前端，用于采集下肢假肢周围地形的RGB图像，所述双目像机的配置为：1280*720分辨率、30帧/秒采样率。

优选的，所述图像采集与信息传输硬件平台位于下肢假肢结构体内部空隙，实时接收双目相机采集RGB图像，通过无线网络传输至云端服务器，并实时接收云服务器反馈的地形信息，输出至下肢假肢运动控制器。

优选的，所述云服务器搭载有CPU和GPU，所述CPU具有多线程处理特点，为多用户同时提供服务；所述GPU加快RGB图像处理速度。

优选的，所述下肢假肢控制器控制下肢假肢运动包括以下步骤：

步骤S1：基于IMU采集健康人在不同地形环境中人体下肢的运动数据，存储于下肢假肢控制器中；