[发明专利]基于自然智能的端到端控制方法和控制系统

权利要求书

1.一种端到端控制方法，其中，

包括：

在操作者操控设备时，通过传感器从被控设备的外部环境和/或被控设备本身收集传感器数据，并实时记录由操控者的操控所产生的控制数据；

将在时间上关联的传感器数据和控制数据作为配对数据输入给机器人；

机器人用配对数据进行训练；

其中，经过训练的机器人根据传感器数据做出判断并控制所述设备，包括：

将通过传感器收集到的传感器数据输入机器人；

机器人判断是否能够根据传感器数据确定与之对应的控制数据，

如果能确定控制数据，则机器人根据与传感器数据对应的控制数据来控制所述设备；如果机器人不能确定控制数据，则由操作者对设备进行操控。

2.根据权利要求1所述的端到端控制方法，其中，机器人不能确定控制数据而由操作者对设备进行操控时，通过传感器从被控设备的外部环境和/或被控设备本身收集传感器数据，并实时记录由操控者的操控所产生的控制数据，将该传感器数据和控制数据作为配对数据来训练机器人。

3.根据权利要求1所述的端到端控制方法，其中，在对机器人进行训练时，自动优化将传感器数据对应到控制数据的模型。

4.根据权利要求1所述的端到端控制方法，其中，机器人基于自信度来判断是否能够确定与传感器数据对应的控制数据，其中，基于传感器数据与控制数据的对应关系来计算所述自信度，通过深度神经网络、有穷状态转换器、自动编码器解码器中的一个或多个来产生对控制数据的对数概率或相类似分数，再利用归一化的指数函数来计算出对该控制数据的自信度。

5.根据权利要求1所述的端到端控制方法，其中，传感器数据包括图像，机器人在进行训练之前将图像转换为次级图像信息，该次级图像信息的信息颗粒度比像素粗但比物体识别所用的信息颗粒度细。

6.根据权利要求1所述的端到端控制方法，其中，传感器数据包括语音，机器人在进行训练之前将语音转换为次级语音信息，该次级语音信息的信息颗粒度的数量级小于文字的信息颗粒度的数量级。

7.根据权利要求1所述的端到端控制方法，其中，在预设的时间间隔内关联传感器数据和控制数据。

8.根据权利要求7所述的端到端控制方法，其中，传感器数据是在所述预设时间间隔内由传感器从被控设备的外部环境和/或被控设备本身收集的图像、声音和距离中的一种或多种相对于时间的变化。

9.根据权利要求1所述的端到端控制方法，其中，所述设备是交通工具、无人机或者数字处理终端。

10.一种端到端控制系统，其中，

包括：传感器，机器人和控制器，

其中，

在操作者通过控制器操控设备时，通过传感器从被控设备的外部环境和/或被控设备本身收集传感器数据，并实时记录由操控者的操控使得控制器所产生的控制数据；

将在时间上关联的传感器数据和控制数据作为配对数据输入给机器人；

机器人用配对数据进行训练；

其中，经过训练的机器人根据传感器数据做出判断并控制所述设备，包括：

将通过传感器收集到的传感器数据输入机器人；

机器人判断是否能够根据传感器数据确定与之对应的控制数据，

如果能确定控制数据，则机器人根据与传感器数据对应的控制数据来生产控制信号，控制器根据该控制信号控制所述设备；如果机器人不能确定控制数据，则由操作者通过控制器对设备进行操控。