[发明专利]基于深度学习的显微视觉伺服控制方法

说明书

本发明公开了基于深度学习的显微视觉伺服控制方法，属于显微伺服控制领域，基于深度学习的显微视觉伺服控制方法，可以通过在显微操作之前进行模拟操控，可以同时模拟操作轨迹以及细胞反应，通过模拟操控可以在进行显微操作之前预设可能会出现的问题，并分析出最优的操作轨迹和数据，在这过程中相较于现有技术，可以存在一个模拟操控修正的过程，从而有效提高了后续显微操作的成功率，然后将该操作轨迹和数据转化成伺服控制机器人的实际操作数据，从而完成显微操作，在这个过程中，避开了人为操作，从而有效降低了由于人为因素造成的不确定的误差，从而极大地提高了显微操作的成功率，从而无形中降低了对显微操作的成本投入。

技术领域

本发明涉及显微伺服控制领域，更具体地说，涉及基于深度学习的显微视觉伺服控制方法。

背景技术

在生物医学工程领域中，存在着大量涉及对细胞、染色体等的显微操作，如细胞的分离、捡取、融合、显微注射，染色体的切割等。对于这类微操作，不但要求定位准确、操作精度高、一致性好，而且要做到操作时间短、效率高，目前，微操作都是人工通过显微操作仪来完成的，显微操作仪大都包括以下几部分：隔振台、显微镜、左微操作臂、右微操作臂、细胞吸附及基因注射装置、左遥控操纵手柄、右遥控操纵手柄等。

操作人员通过显微镜的目镜观察和感知细胞及微操作臂的位姿信息，通过手柄控制左右微操作臂，将人手的动作按照一定的缩放比例传递到微操作臂的操作工具(左操作臂上安装有微吸管，右操作臂上安装微注射针)，使之对细胞进行操作。左操作臂完成被操作对象的捕捉与固定，右操作臂对被固定住的操作对象进行微细操作(如基因注射、染色体切割等)。

其操作方式是由操作人员根据显微监视目镜输出的图像通过遥控操纵手柄来遥控微操作臂的运动，操作人员的大脑、手、遥控手柄、微操作臂、显微镜及操作者的眼睛等构成了一个大的“控制闭环”，即由操作人员去感知和处理信息，通过显微镜、遥控手柄及微操作臂来传递与放大位移与力。这种显微操作仪只有一个位比(位移缩放比例)的传递，没有任何控制器、没有任何传感器(显微镜除外)，没有任何“智能”。

但是现有的显微操作是由操作人员直接去感知和处理信息，通过显微镜、遥控手柄及微操作臂来传递与放大位移与力，但是这种方式很容易受到个人技术、精神状态及心理、情绪的影响等人为因素的影响，从而造成大的而且不稳定的人为误差，导致显微操作的成功率不稳定而且很低，进而无形中增加了显微操作的成本投入。

发明内容

1.要解决的技术问题

针对现有技术中存在的问题，本发明的目的在于提供基于深度学习的显微视觉伺服控制方法，它可以通过在显微操作之前进行模拟操控，可以同时模拟操作轨迹以及细胞反应，通过模拟操控可以在进行显微操作之前预设可能会出现的问题，并分析出最优的操作轨迹和数据，在这过程中相较于现有技术直接进行显微操作，可以存在一个模拟操控修正的过程，从而有效提高了后续显微操作的成功率，然后将该操作轨迹和数据转化成伺服控制机器人的实际操作数据，从而完成显微操作，在这个过程中，避开了人为操作，从而有效降低了由于人为因素造成的不确定的误差，从而极大地提高了显微操作的成功率，从而无形中降低了对显微操作的成本投入。

2.技术方案

为解决上述问题，本发明采用如下的技术方案。

基于深度学习的显微视觉伺服控制方法，包括以下步骤：

S1、通过摄像显微镜放大载玻片上目标细胞，并采集目标细胞的实时视频信息；

S2、将采集的动态信息实时导入到计算机内；

S3、在计算机内对目标细胞进行模拟操控，并记录模拟操控轨迹的动态数据；

S4、数据转换，将模拟得到的动态数据进行等比例换算成伺服控制机器人和细胞实际尺寸的数据；