[发明专利]基于实时实例分割的下肢假肢地形识别与运动预测系统

权利要求书

1.一种基于实时实例分割的下肢假肢地形识别与运动预测系统，其特征在于：本地端包括下肢假肢、下肢假肢控制器、双目相机、图像采集与信息传输硬件平台，云端包括云服务器；

所述双目相机安装在下肢假肢上，采集下肢假肢周围的地形信息，所述图像采集与信息传输硬件平台采集双目相机得到的信息，并上传至云服务器，所述图像采集与信息传输硬件平台与下肢假肢控制器电连接，所述下肢假肢控制器控制下肢假肢的运动方式；

所述云服务器上部署有目标地形监测模块、实例分割模块、特征匹配模块和位置尺寸计算模块，地形信息依次经过上述模块处理后，反馈至图像采集与信息传输硬件平台；

所述目标地形检测模块使用经过训练并优化的基于MobileNet的YoloV4-Lite卷积神经网络，初步识别RGB图像中不同的地形信息，使用Box将其分别标记，输出至实例分割模块；

所述实例分割模块使用经过训练的基于循环卷积的Deep Snake卷积神经网络，对目标检测得到的Box使用Extreme Points法提取初始轮廓，进而使用Deep Snake网络变形初始轮廓得到精确贴合各地形的地形轮廓，输出至特征匹配模块；

所述特征匹配模块对双目相机采集的、经过实例分割模块处理过的同一时刻同一类型地形轮廓范围内的像素，使用Speeded Up Robust Features方法，分别进行特征提取与特征匹配，根据相同特征点视差，结合双目相机参数计算出特征点深度信息，进而计算出其三维坐标；

所 述位置尺寸计算模块对于识别到地形，根据位于轮廓边缘特征点坐标计算其位置与长宽范围，对于识别到的台阶、障碍物等，根据其轮廓角点坐标计算其长宽高尺寸以及位置信息。

2.根据权利要求1所述的一种基于实时实例分割的下肢假肢地形识别与运动预测系统，其特征在于：所述下肢假肢包括膝关节和踝关节，所述膝关节具有一个自由度，所述踝关节具有屈伸以及外旋/内翻两个主动自由度。

3.根据权利要求1所述的一种基于实时实例分割的下肢假肢地形识别与运动预测系统，其特征在于：所述双目相 机安装于膝关节部位前端，用于采集下肢假肢周围地形的RGB图像，所述双目像机的配置为：1280*720分辨率、30帧/秒采样率。

4.根据权利要求1所述的一种基于实时实例分割的下肢假肢地形识别与运动预测系统，其特征在于：所述图像采集与信息传输硬件平台位于下肢假肢结构体内部空隙，实时接收双目相机采集RGB图像，通过无线网络传输至云端服务器，并实时接收云服务器反馈的地形信息，输出至下肢假肢运动控制器。

5.根据权利要求1所述的一种基于实时实例分割的下肢假肢地形识别与运动预测系统，其特征在于：所述云服务器搭载有CPU和GPU，所述CPU具有多线程处理特点，为多用户同时提供服务；所述GPU加快RGB图像处理速度。

6.根据权利要求1所述的一种基于实时实例分割的下肢假肢地形识别与运动预测系统，其特征在于：所述下肢假肢控制器控制下肢假肢运动包括以下步骤：

步骤S1：基于IMU采集健康人在不同地形环境中人体下肢的运动数据，存储于下肢假肢控制器中；

步骤S2：下肢假肢控制器控制接收云服务器发出的下肢假肢目前所在的地形数据；

步骤S3：下肢假肢控制器根据人体下肢的运动数据控制下肢假肢采取与所在地形适宜的运动状态；

步骤S4：对尚有一定距离的地形或障碍，下肢假肢控制器根据当前运动方向与速度，预测是否可能经过以及预计到达时间，以从软件上实现更加平滑的状态切换。