[发明专利]基于强化学习的信号控制装置及信号控制方法

说明书

提供信号控制装置及信号控制方法，根据本说明书中公开的一实施例，一种基于强化学习模型而控制交叉路中的交通信号的信号控制装置，可包括：拍摄部，拍摄多个交叉路中的每一者来获取多个交叉路图像，存储部，存储用于控制信号的程序，以及控制部，包括至少一个处理器，执行所述程序，以利用通过所述拍摄部获取的交叉路图像来算出控制所述多个交叉路中的每一者的信号灯的控制信息；所述控制部，利用基于被训练的强化学习模型的多个代理，基于由多个代理将基于所述多个交叉路图像中的每一者而算出的状态信息作为输入而算出的动作信息，算出控制所述多个交叉路中的每一者的信号灯的控制信息，所述强化学习模型被训练成将状态信息和奖励作为输入值而输出用于控制信号灯的动作信息。

技术领域

在本说明书中公开的实施例涉及基于强化学习的信号控制装置及信号控制方法，更详细地，涉及控制多个交叉路中的交通信号的装置及方法。

背景技术

近来，随着出于方便或工作原因而购买车辆的人数增加，在道路上行驶的车辆数量也在增加。由于这些车辆的增加，交通堵塞也在增加，交通堵塞可能因道路环境、驾驶员状况、车辆故障和车辆事故等多种因素而发生。

造成交通堵塞的原因之一是道路环境中的交通信号体系的问题。例如，交通信号控制车辆的流量，由于它们每隔一定时间就确定车辆的通行方向，当特定方向的车辆数量增加时，交通堵塞就不可避免。为此，当发生交通拥堵时，警察或相关人员亲自操纵信号控制器来控制交通流量。这种方式存在人不能为了控制交通信号而一直待命的局限，因此已经有各种尝试来控制交通信号。

在作为现有技术文献的韩国公开专利第10-2009-0116172号“人工智能车辆信号灯控制装置”中记载了分析通过利用影像探测器拍摄的影像来控制交通信号灯的方法。但是，在上述的现有技术中，只是将人工智能模型用作通过简单的影像分析来检测特定车道上是否存在车辆等的手段，基于检测的信息决定下一个信号是通过现有的碎片化运算来实现，因此存在难以提升信号体系的效率性的问题。

因此，需要一种用于改善交通状况的技术。

另一方面，前述的背景技术是发明人为推导本发明而拥有的，或者是推导本发明的过程中学到的技术信息，不能说一定是在申请本发明前向公众公开的公知技术。

发明内容

要解决的技术问题

在本说明书中公开的实施例的目的在于，提供一种基于强化学习模型的信号控制装置及信号控制方法。

并且，在本说明书中公开的实施例的目的在于，提供一种基于多个代理的强化学习模型的信号控制装置及信号控制方法。

并且，在本说明书中公开的实施例的目的在于，提供一种能够在多个交叉路使交通顺畅的信号控制装置及信号控制方法。

并且，在本说明书中公开的实施例的目的在于，提供一种解决控制对象环境和学习对象环境不一致的问题的信号控制装置及信号控制方法。

并且，在本说明书中公开的实施例的目的在于，提供一种对交通模拟时间投入最少时间的信号控制装置及信号控制方法。

用于解决问题的手段

作为用于解决上述技术问题的技术手段，根据本说明书中记载的一实施例，一种基于强化学习模型而控制交叉路中的交通信号的信号控制装置，可包括：拍摄部，拍摄多个交叉路中的每一者来获取多个交叉路图像，存储部，存储用于控制信号的程序，以及控制部，包括至少一个处理器，执行所述程序，以利用通过所述拍摄部获取的交叉路图像来算出控制所述多个交叉路中的每一者中的信号灯的控制信息；所述控制部，利用基于被训练的强化学习模型的多个代理，基于由多个代理将基于所述多个交叉路图像中的每一者而算出的状态信息作为输入而算出的动作信息，算出控制所述多个交叉路中的每一者中的信号灯的控制信息，所述强化学习模型被训练成将状态信息和奖励作为输入值而输出用于控制信号灯的动作信息。