[发明专利]一种基于深度增强学习的人机协同动态避障方法及系统有效

专利信息
申请号: 201910208033.8 申请日: 2019-03-19
公开(公告)号: CN109976340B 公开(公告)日: 2022-02-08
发明(设计)人: 徐昕;姚亮;程榜;尹昕 申请(专利权)人: 中国人民解放军国防科技大学
主分类号: G05D1/02 分类号: G05D1/02
代理公司: 长沙国科天河知识产权代理有限公司 43225 代理人: 邱轶
地址: 410073 湖*** 国省代码: 湖南;43
权利要求书: 查看更多 说明书: 查看更多
摘要:
搜索关键词: 一种 基于 深度 增强 学习 人机 协同 动态 方法 系统
【说明书】:

发明提供一种基于深度增强学习方法的智能车动态避障方法及系统,包括S1、获取智能车在t时刻的图像;S2、将图像输入神经网络模型,输出智能车的执行各个动作对应的概率;S3、选择智能车在t时刻的执行动作;S4、记录智能车在t时刻的仿真数据;S5、令t=t+1,重复S1‑S4直至仿真结束,将仿真数据存档;S6、从正样本经验池或负样本经验池中抽调仿真数据对神经网络模型进行训练的同时循环S1‑S6连续训练至仿真过程中智能车的动态避障策略能完全进行动态避障;后利用训练出的动态避障策略应用到人机协同机制下的动态避障,互补人类驾驶员与智能机器在智能车的应急避让的行为决策上各自优势,达到统一极优的决策方法。本发明应用于智能车的智能决策领域。

技术领域

本发明涉及智能车的环境感知领域,尤其涉及一种人机协同机制下的基于深度增强学习方法的智能车动态避障方法。

背景技术

在自动驾驶领域的研究中,首要考虑的就是安全问题,只有达到安全的要求下各方面的研究才有意义。为了实现安全的自动驾驶,智能车通过传感器来感知周围的环境然后做出决策、规划,再控制车辆在不发生交通事故的情况下达到期望的目的地。近年来,为了提高智能车的安全性,有些安全系统已被大家所提出来,比如碰撞避免系统、行人检测系统及前方障碍警告系统。

在复杂的交通系统中,实现智能车安全自动驾驶的重要且关键的一点是如何较好的避让行人,行人可以视为动态的障碍物,目前智能车在遇到有威胁的障碍物时,采用的是自动制动方法,然而大多数的传统的自动制动系统的实现的都是基于规则的,很难让其适应真实道路上的复杂不同的场景,因此针对不同的情景下需要设定不同的规则进行调整。特别是当驾驶员出现失误操作时,智能车如何决策动作以使得道路上行人等物体及车内驾驶员及乘客等的安全是一个亟待解决的问题。

发明内容

针对现有技术中的智能车动态避障方法难以适应真实道路上的复杂不同的场景等问题,本发明的目的是提供一种人机协同机制下基于深度增强学习方法的智能车动态避障方法及系统,有效避免传统避障方法的逻辑复杂,程序实现较难的缺点,并利用人机协同机理解决当驾驶员出现失误操作时,智能车系统在合适时间选择合适决策动作以保证智能车内驾驶员和乘客和道路上乘客及其他动态物体安全。

为了实现上述发明目的,本发明提供一种基于深度增强学习方法的智能车动态避障方法,并利用人机协同机理,当驾驶员出现失误将对行人等动态障碍物发生碰撞时,接管驾驶员中的驾驶权,协助驾驶员进行动态障碍物避障。其采用的技术方案是:

一种基于深度增强学习方法的智能车动态避障方法,包括以下步骤:

S1、获取智能车在t时刻的仿真感知图像It

S2、将仿真感知图像It输入神经网络模型,神经网络模型输出智能车在t时刻的状态特征st以及执行各个动作对应的概率;

S3、根据各个动作对应的概率的分布选择智能车在t时刻的执行动作at并输出;

S4、将t时刻的动作at输入马尔可夫决策环境模型,观测并记录t时刻的状态st到t+1 时刻的状态st+1存储状态转移(st,st+1)同时计算t时刻到t+1时刻的回报值rt,记录智能车在t 时刻的仿真数据(st、at、rt、st+1);

S5、令t=t+1,重复步骤S1-S4直至该组仿真结束,并根据仿真结果将该组仿真的所有仿真数据{(st、at、rt、st+1)丨t=1,2,3,···}存档至正样本经验池或负样本经验池;

下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中国人民解放军国防科技大学,未经中国人民解放军国防科技大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/pat/books/201910208033.8/2.html,转载请声明来源钻瓜专利网。

×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top