[发明专利]基于深度强化学习的股骨柄放置装置及电子设备

权利要求书

1.一种基于深度强化学习的股骨柄放置装置，其特征在于，包括：

分割单元，用于获取患者骨盆及股骨图像数据，基于所述骨盆及股骨图像数据通过分割神经网络模型分割提取股骨髓腔皮质区域；

确定单元，用于确定所述股骨髓腔皮质区域的股骨髓腔轴线，并将股骨柄的轴线沿所述股骨髓腔轴线，以用于放置所述股骨柄；

输出单元，用于采用深度强化学习的双网络架构DDQN，根据所述股骨柄与股骨的相对位置，输出调节信息；基于双网络架构DDQN，搭建encoder-decoder网络结构，encoder-decoder网络结构连接全连接层，全连接层作为分类器，输出股骨柄型号、股骨柄位置的调节信息；

调节单元，用于根据所述调节信息对所述股骨柄进行调节，以使所述股骨柄与股骨相匹配。

2.根据权利要求1所述的装置，其特征在于，所述基于所述骨盆及股骨图像数据通过分割神经网络模型分割提取股骨髓腔皮质区域，包括：

通过分割神经网络模型对所述骨盆及股骨图像数据进行图像分割；

其中，所述分割神经网络模型包括级联的第一分割神经网络和第二分割神经网络；

所述第一分割神经网络和第二分割神经网络的关联参数，是通过对预先存储的医学图像数据库中的图像数据进行训练和测试确定的。

3.根据权利要求2所述的装置，其特征在于，所述第一分割神经网络，用于作为主干网络，对所述骨盆及股骨图像数据进行粗分割；

所述第二分割神经网络，用于基于所述粗分割进行精确分割；

所述第一分割神经网络为全卷积网络FCN、语义分割网络SegNet、深度学习分割网络Unet、3D-深度学习分割网络3D-Unet、实例分割网络Mask-RCNN、空洞卷积、语义分割神经网络ENet、语义分割网络CRFasRNN、场景解析网络PSPNet、端到端语义分割网络ParseNet、图像语义分割网络RefineNet、图像分割模型ReSeg、语义分割网络LSTM-CF、实例分割网络DeepMask、语义分割模型DeepLabV1、语义分割模型DeepLabV2、语义分割模型DeepLabV3中的至少一种；

所述第二分割神经网络为EfficientDet、SimCLR、PointRend中的至少一种。

4.根据权利要求1所述的装置，其特征在于，所述确定所述股骨髓腔皮质区域的股骨髓腔轴线，并将股骨柄的轴线沿所述股骨髓腔轴线，以用于放置所述股骨柄，包括：

根据分类神经网络对所述股骨髓腔皮质区域进行层面分类，分出股骨髓腔层面；

确定所有股骨髓腔层面的中心点；

对所有股骨髓腔层面的中心点进行直线拟合，确定股骨髓腔皮质区域的股骨髓腔轴线；

将任一型号股骨柄的轴线沿所述股骨髓腔轴线放置到股骨内的任一位置。

5.根据权利要求1所述的装置，其特征在于，所述采用深度强化学习的双网络架构DDQN，根据所述股骨柄与股骨的相对位置，输出调节信息，包括：

基于双网络架构DDQN，搭建encoder-decoder网络结构；

获取所述股骨髓腔皮质区域的冠状面视图，并将所述冠状面视图输入到所述encoder-decoder网络结构；

通过DDQN双网络中的探索网络，根据所述股骨柄与股骨的相对位置，输出股骨柄型号、股骨柄位置的调节信息。

6.根据权利要求5所述的装置，其特征在于，在输出股骨柄型号、股骨柄位置的调节信息之后，还包括：

通过DDQN双网络中的价值网络，根据奖励函数确定奖励，将所述奖励经过变换后反馈给所述价值网络进行学习和迭代，以使奖励达到最大值；

其中，根据下述奖励函数确定奖励r：

r＝贴合度/腿长差

贴合度＝-a²+2ab

贴合度为股骨柄嵌入股骨髓腔皮质的平均深度，腿长差为双侧小转子上缘高度差的绝对值，a为所有股骨髓腔皮质与股骨柄相贴合的层面嵌入深度的平均值，b为设定的切入深度。