-
题名基于DQN的多智能体深度强化学习运动规划方法
被引量：4
- 1
-
-
作者
史殿习
彭滢璇
杨焕焕
欧阳倩滢
张玉晖
郝锋
-
机构
智能博弈与决策实验室
天津(滨海)人工智能创新中心
国防科技大学计算机学院
-
出处
《计算机科学》
CSCD
北大核心
2024年第2期268-277,共10页
-
基金
科技部科技创新2030-重大项目(2020AAA0104802)
国家自然科学基金(91948303)。
-
文摘
DQN方法作为经典的基于价值的深度强化学习方法,在多智能体运动规划等领域得到了广泛应用。然而,DQN方法面临一系列挑战,例如,DQN会过高估计Q值,计算Q值较为复杂,神经网络没有历史记忆能力,使用ε-greedy策略进行探索效率较低等。针对这些问题,提出了一种基于DQN的多智能体深度强化学习运动规划方法,该方法可以帮助智能体学习到高效稳定的运动规划策略,无碰撞地到达目标点。首先,在DQN方法的基础上,提出了基于Dueling的Q值计算优化机制,将Q值的计算方式改进为计算状态值和优势函数值,并根据当前正在更新的Q值网络的参数选择最优动作,使得Q值的计算更加简单准确;其次,提出了基于GRU的记忆机制,引入了GRU模块,使得网络可以捕捉时序信息,具有处理智能体历史信息的能力;最后,提出了基于噪声的有效探索机制,通过引入参数化的噪声,改变了DQN中的探索方式,提高了智能体的探索效率,使得多智能体系统达到探索-利用的平衡状态。在PyBullet仿真平台的6种不同的仿真场景中进行了测试,实验结果表明,所提方法可以使多智能体团队进行高效协作,无碰撞地到达各自目标点,且策略训练过程稳定。
-
关键词
多智能体系统
运动规划
深度强化学习
DQN方法
-
Keywords
Multi-agent system
Motion planning
Deep reinforcement learning
DQN
-
分类号
TP391
[自动化与计算机技术—计算机应用技术]
-
-
题名基于意图的多智能体深度强化学习运动规划方法
被引量：1
- 2
-
-
作者
彭滢璇
史殿习
杨焕焕
胡浩萌
杨绍武
-
机构
国防科技大学计算机学院
军事科学院国防科技创新研究院
天津(滨海)人工智能创新中心
-
出处
《计算机科学》
CSCD
北大核心
2023年第10期156-164,共9页
-
基金
国家自然科学基金(91948303)。
-
文摘
现有的多智能体运动规划任务存在缺乏有效合作方法、通信依赖要求高以及缺乏信息筛选机制等问题。针对这些问题,提出了一种基于意图的多智能体深度强化学习运动规划方法,该方法可以帮助智能体在无需显式通信的条件下无碰撞地到达目标点。首先,将意图概念引入多智能体运动规划问题,将智能体的视觉图像和历史地图相结合以预测智能体的意图,使智能体可以对其他智能体的动作做预判,从而有效协作;其次,设计了一个基于注意力机制的卷积神经网络架构,并利用该网络预测智能体的意图、选择智能体的动作,在筛选出有用的视觉输入信息的同时,减少了多智能体合作对通信的依赖;最后提出了一种基于价值的深度强化学习算法来学习运动规划策略,通过改进目标函数和Q值计算方式使策略更加稳定。在PyBullet仿真平台的6种不同的仿真场景中进行了测试,实验结果表明,相较于其他先进的多智能体运动规划方法,所提方法使多智能体团队的合作效率平均提高了10.74%,具有显著的性能优势。
-
关键词
意图
注意力机制
多智能体系统
运动规划
深度强化学习
-
Keywords
Intention
Attention mechanism
Multi-agent system
Motion planning
Deep reinforcement learning
-
分类号
TP391
[自动化与计算机技术—计算机应用技术]
-
