部分可观察马尔科夫决策过程优化不稳定型心绞痛中西医结合临床治疗方案的建模方法与验证研究 被引量：13

1

作者 冯妍 冯奇 +3 位作者 王以新 邱禹 周雪忠 徐浩 《中国全科医学》 CAS 北大核心 2020年第17期2181-2185,共5页

背景部分可观察马尔科夫决策过程(POMDP)是一种解决序列决策问题的数学算法,在医学领域中常应用于复杂治疗方案的动态优化。其在不稳定型心绞痛(UA)中西医结合临床治疗方案优化中的应用已进行了初步尝试。目的详细描述POMDP在UA中西医... 背景部分可观察马尔科夫决策过程(POMDP)是一种解决序列决策问题的数学算法,在医学领域中常应用于复杂治疗方案的动态优化。其在不稳定型心绞痛(UA)中西医结合临床治疗方案优化中的应用已进行了初步尝试。目的详细描述POMDP在UA中西医结合临床治疗方案优化过程中的建模方法并对模型的可靠性做出初步验证。方法收集中国中医科学院西苑医院、中国中医科学院广安门医院、中日友好医院、北京市中医院、通州区中医院、东直门医院、怀柔中医医院、北京大学人民医院2008-2010年2212例UA患者结构化住院病历111060条记录。将UA证候要素类型为气虚、血瘀的患者随机分为测试组732例和验证组732例,对测试组患者应用POMDP得出一组最优治疗方案的核心处方,在验证组患者中筛选符合方案的患者(作为优化组),与不符合方案的患者(作为对照组)进行血瘀证积分、远期终点事件(主要终点事件包括心血管死亡、非致命性心肌梗死、血运重建术,次要终点事件包括脑卒中、因急性冠脉综合征再住院、心功能不全、其他血栓并发症)发生情况的比较,验证方案的临床疗效。结果气虚优化组(n=152)、血瘀优化组(n=127)患者血瘀证积分降分分别为(5.29±2.64)、(4.87±3.04)分,均高于对照组,差异有统计学意义(P<0.05)。气虚优化组、血瘀优化组远期终点事件发生率分别为16.4%(25/152)、12.6%(16/127),与对照组比较,差异无统计学意义(P>0.05)。结论POMDP可以实现UA中西医结合临床治疗方案的优化,模型经验证较为稳定可靠,可尝试为其他疾病临床方案的制定提供更为细化、深入的优化方案。 展开更多

关键词 心绞痛 不稳定型 冠心病 部分可观察马尔科夫决策过程 建模 验证

在线阅读 下载PDF 职称材料

基于部分可观测马尔科夫决策过程的C-V2V频谱接入算法

2

作者 张雪飞 《数字通信世界》 2023年第3期33-35,共3页

文章基于部分可观测马尔科夫决策过程,提出一种C-V2V(Cellular Vehicle-to-Vehicle)频谱接入算法,并在既定的网络模型下,通过仿真过程验证了本算法可有效提高车辆用户接入频谱后的吞吐量,从而改善C-V2V通信网络服务质量,可应用于交通事... 文章基于部分可观测马尔科夫决策过程,提出一种C-V2V(Cellular Vehicle-to-Vehicle)频谱接入算法,并在既定的网络模型下,通过仿真过程验证了本算法可有效提高车辆用户接入频谱后的吞吐量,从而改善C-V2V通信网络服务质量,可应用于交通事故、车辆监督管理等领域。 展开更多

关键词 C-V2V 部分可观测马尔科夫决策过程 频谱接入

在线阅读 下载PDF 职称材料

基于部分可观察马氏决策过程的频谱接入方法 被引量：2

3

作者 侯国涛 韩慧 胡俊 《电波科学学报》 EI CSCD 北大核心 2013年第3期553-558,共6页

在次用户无法准确掌握信道被占用情况下,为了减少对主用户的干扰,提出了一种基于部分可观察马尔科夫决策过程(Partially Observable Markov DecisionProcesses,POMDP)的机会式频谱接入方法.该方法把次用户在每个决策时刻从多个信道中选... 在次用户无法准确掌握信道被占用情况下,为了减少对主用户的干扰,提出了一种基于部分可观察马尔科夫决策过程(Partially Observable Markov DecisionProcesses,POMDP)的机会式频谱接入方法.该方法把次用户在每个决策时刻从多个信道中选择其中一个信道进行接入这一过程模型化为一个无限阶部分可观察马尔科夫决策过程.仿真结果表明,通过不断从外界环境中学习,次用户总可以按照目标函数最大准则选择满意的频谱空穴.该模型为动态频谱接入提供了思路. 展开更多

关键词 认知无线电 动态频谱接入 部分可观察马尔科夫决策过程

在线阅读 下载PDF 职称材料

采用马氏决策过程和后验克拉美罗下界的多被动式移动传感器长期调度方法 被引量：1

4

作者 徐公国 单甘霖 段修生 《西安交通大学学报》 EI CAS CSCD 北大核心 2019年第6期125-133,150,共10页

针对多被动式移动传感器协同工作时跟踪精度不稳定等问题,提出了一种基于多步预测的移动传感器长期调度方法。该方法结合部分可观马尔科夫决策过程(POMDP)构建多传感器调度模型,并基于后验克拉美罗下界(PCRLB)建立了传感器调度过程中的... 针对多被动式移动传感器协同工作时跟踪精度不稳定等问题,提出了一种基于多步预测的移动传感器长期调度方法。该方法结合部分可观马尔科夫决策过程(POMDP)构建多传感器调度模型,并基于后验克拉美罗下界(PCRLB)建立了传感器调度过程中的单步与长期代价函数;为有效减少计算复杂度,利用大量无迹采样粒子来近似估算长期代价值;通过将多约束非线性调度问题转化为决策树优化问题,可快速获取传感器长期调度方法,并给出了一种基于分支定界技术的改进决策树搜索算法。实验结果表明,所提方法能够实现移动式传感器的合理调度,在决策步长为2时,其目标跟踪精度相较于短期调度可平均提升6.08%;改进搜索算法的求解速度也更加迅速,能够有效满足在线调度的实时性要求。 展开更多

关键词 移动传感器 传感器调度 部分可观马尔科夫决策过程 后验克拉美罗下界 决策树

在线阅读 下载PDF 职称材料

一种不确定作战决策效能评估模型及仿真 被引量：1

5

作者 邓鹏华 毕义明 刘继方 《系统仿真学报》 CAS CSCD 北大核心 2009年第23期7381-7385,共5页

针对直接评估不确定决策效能的困难,引入一种间接评估方法——理想观察者分析(Ideal Observer Analysis,IOA)方法,它通过定义最佳执行(Optimal Performance),用实际策略效用与OP效用值的差异表示决策效能。而在确定OP时又使用了部分可... 针对直接评估不确定决策效能的困难,引入一种间接评估方法——理想观察者分析(Ideal Observer Analysis,IOA)方法,它通过定义最佳执行(Optimal Performance),用实际策略效用与OP效用值的差异表示决策效能。而在确定OP时又使用了部分可观察马尔科夫决策过程(Partially Observable Markov Decision Process,POMDP)模型。研究了用POMDP模型确定OP的方法,提出了一种行动决策方法。最后针对三状态"寻找并摧毁"型作战任务进行仿真验证,结果证明了此方法的有效性。 展开更多

关键词 效能评估 不确定作战决策 理想观察者分析 部分可观察马尔科夫决策过程 行动决策

在线阅读 下载PDF 职称材料

部分可观环境中AUV软件自修复模型研究 被引量：1

6

作者 张汝波 孟雷 史长亭 《计算机工程与应用》 CSCD 北大核心 2017年第2期151-156,共6页

针对AUV软件在部分可观环境中的故障修复问题,依据部分可观马尔科夫决策过程理论,提出基于POMDP模型和微重启技术的AUV软件故障修复方法。根据AUV分层结构特点设计了多层次的微重启修复方法,构建了AUV软件自修复POMDP模型,同时采用基于... 针对AUV软件在部分可观环境中的故障修复问题,依据部分可观马尔科夫决策过程理论,提出基于POMDP模型和微重启技术的AUV软件故障修复方法。根据AUV分层结构特点设计了多层次的微重启修复方法,构建了AUV软件自修复POMDP模型,同时采用基于点的值迭代算法求解生成修复策略使系统在部分可观环境下能够以较低的修复代价执行修复动作。仿真实验验证了算法有效性和模型适用性。 展开更多

关键词 智能水下机器人 微重启技术 自修复 部分可观马尔科夫决策过程(POMDP) 基于点的值迭代(PBVI)

在线阅读 下载PDF 职称材料

一种用于部分可观察随机域的情感计算模型

7

作者 黄向阳 张娜 +1 位作者 王旭仁 彭岩 《计算机应用与软件》 CSCD 2016年第2期73-76,114,共5页

在计算机游戏中,富有情感可以使非玩家角色表现得更加真实,同时增加游戏的趣味性以吸引更多的游戏爱好者参与。在部分可观察不确定环境提出一种基于规划的情感计算模型。首先,基于部分可观察马尔科夫决策过程提出一种成本约束的目标导... 在计算机游戏中,富有情感可以使非玩家角色表现得更加真实,同时增加游戏的趣味性以吸引更多的游戏爱好者参与。在部分可观察不确定环境提出一种基于规划的情感计算模型。首先,基于部分可观察马尔科夫决策过程提出一种成本约束的目标导向行为规划技术用于规划智能体行为;其次,在规划执行过程中结合评价与再评价的双层评价理论计算生成情感;最后,结合特定情境设计两组对比实验。实验表明该模型能够提高智能体的逼真度且更加吸引玩家。 展开更多

关键词 情感计算 目标导向行为规划 部分可观察马尔科夫决策过程 双层评价理论

在线阅读 下载PDF 职称材料

基于IMM的无人机在线路径规划决策建模 被引量：7

8

作者 杨啟明 徐建城 +1 位作者 田海宝 吴勇 《西北工业大学学报》 EI CAS CSCD 北大核心 2018年第2期323-331,共9页

为提升无人机对目标的自主跟踪能力,以部分可观测马尔科夫决策过程(POMDP)为理论框架,建立起无人机路径在线规划POMDP模型。分析并描述了POMDP模型中的各个要素,针对目标运动规律的复杂性,引入交互多模型(IMM)方法描述POMDP模型中的状... 为提升无人机对目标的自主跟踪能力,以部分可观测马尔科夫决策过程(POMDP)为理论框架,建立起无人机路径在线规划POMDP模型。分析并描述了POMDP模型中的各个要素,针对目标运动规律的复杂性,引入交互多模型(IMM)方法描述POMDP模型中的状态转移规律,以适应目标的机动变化。同时以POMDP模型中的累加代价函数为目标函数,结合使用名义信念状态优化(NBO)算法求解无人机的行动策略,产生的行动策略控制无人机飞行。仿真结果表明,所建立的模型能够实现对无人机路径的自主规划,能够控制无人机对目标进行有效跟踪,规划的无人机路径较之使用单一的目标状态转移规律更加合理高效。 展开更多

关键词 部分可观测马尔科夫决策过程(POMDP) 交互多模型(IMM) 路径规划 目标跟踪 名义信念状态优化

在线阅读 下载PDF 职称材料

异构密集网络下基于POMDP负载感知的负载均衡算法研究 被引量：4

9

作者 唐伦 梁荣 +1 位作者 张亚 陈前斌 《电子与信息学报》 EI CSCD 北大核心 2017年第9期2134-2140,共7页

针对异构密集网络场景中业务不确定性而引起的网络负载不均衡,该文提出一种基于部分可测马尔科夫决策过程(POMDP)负载感知的负载均衡方法。该方法首先通过对系统用户在感知周期内数据包传输数量进行观察,预测出下一周期系统可能出现的... 针对异构密集网络场景中业务不确定性而引起的网络负载不均衡,该文提出一种基于部分可测马尔科夫决策过程(POMDP)负载感知的负载均衡方法。该方法首先通过对系统用户在感知周期内数据包传输数量进行观察,预测出下一周期系统可能出现的负载状态。其次根据负载感知结果动态调整小区范围扩展偏置值(DCRE),以达到优化系统整体负载均衡性的目的。最后采用启发式算法近似求解,能够快速得到次优解。仿真结果表明,该方案能在异构密集网络下提高系统负载均衡性,同时提升了系统吞吐量与系统资源利用率。 展开更多

关键词 异构密集网络 负载均衡 小区范围扩展 部分可测马尔科夫决策过程

在线阅读 下载PDF 职称材料

瑞利衰落环境中一种能量有效的多无线电信道搜索机制研究

10

作者 黄川 郑宝玉 李世唐 《电子与信息学报》 EI CSCD 北大核心 2010年第5期1193-1199,共7页

针对当前频谱搜索机制在能量有效方面的不足,该文提出了一种在瑞利衰落条件下基于部分可测马尔科夫决策过程(POMDP)的多无线电信道搜索机制MRCSS。该机制通过对瑞利衰落环境中信道状态建立POMDP模型来分析和推导出能效最佳信道,并以此... 针对当前频谱搜索机制在能量有效方面的不足,该文提出了一种在瑞利衰落条件下基于部分可测马尔科夫决策过程(POMDP)的多无线电信道搜索机制MRCSS。该机制通过对瑞利衰落环境中信道状态建立POMDP模型来分析和推导出能效最佳信道,并以此指导用户的信道选择。仿真结果表明该机制能较传统搜索机制更有效地减少感知时间和节省能耗,从而达到提高频谱感知性能的目的。 展开更多

关键词 频谱感知 瑞利衰落 部分可测马尔科夫决策过程 多无线电

在线阅读 下载PDF 职称材料

一种能量有效的认知无线电信道搜索机制研究

11

作者 黄川 郑宝玉 《南京邮电大学学报（自然科学版）》 2011年第1期45-51,共7页

针对当前认知无线电中频谱搜索机制在能量有效方面的不足,提出了一种在瑞利衰落条件下基于部分可测马尔科夫决策过程(POMDP)的多无线电信道搜索机制MRCSS。该机制通过对瑞利衰落环境中信道状态建立POMDP模型来分析和推导出能效最佳信道... 针对当前认知无线电中频谱搜索机制在能量有效方面的不足,提出了一种在瑞利衰落条件下基于部分可测马尔科夫决策过程(POMDP)的多无线电信道搜索机制MRCSS。该机制通过对瑞利衰落环境中信道状态建立POMDP模型来分析和推导出能效最佳信道,并以此指导用户的信道选择。仿真结果表明该机制能较传统搜索机制更有效地减少感知时间和节省能耗,从而达到提高频谱感知性能的目的。 展开更多

关键词 频谱感知 瑞利衰落 部分可测马尔科夫决策过程 多无线电

在线阅读 下载PDF 职称材料

基于POMDP的不稳定心绞痛中西医结合治疗方案优化研究 被引量：14

12

作者 冯妍 徐浩 +2 位作者 刘凯 周雪忠 陈可冀 《中国中西医结合杂志》 CAS CSCD 北大核心 2013年第7期878-882,共5页

目的初步优化中西医结合防治不稳定心绞痛(unstable angina,UA)的综合治疗方案。方法基于部分可观察的马尔科夫决策过程模型(Partially Observable Markov Decision Process,POMDP)的方法,选择气虚、血瘀、痰浊3个主要证侯要素,对UA住... 目的初步优化中西医结合防治不稳定心绞痛(unstable angina,UA)的综合治疗方案。方法基于部分可观察的马尔科夫决策过程模型(Partially Observable Markov Decision Process,POMDP)的方法,选择气虚、血瘀、痰浊3个主要证侯要素,对UA住院患者的诊治情况进行深层次数据挖掘、分析,客观评价UA中西医结合的疗效。结果 UA气虚证、血瘀证、痰浊证患者的推荐治疗方案依次为:硝酸酯类+他汀类+氯吡格雷+血管紧张素Ⅱ受体阻滞剂+肝素类+黄芪+党参+茯苓+白术(ADR=0.85077869);硝酸酯类+阿司匹林+氯吡格雷+他汀类+肝素类+当归+红花+桃仁+赤芍(ADR=0.70773000);硝酸酯类+阿司匹林+他汀类+血管紧张素转换酶抑制剂+栝蒌+薤白+半夏+陈皮(ADR=0.72509600)。结论本研究基于POMDP优化了UA的治疗方案,可作为进一步规范和制定中西医结合治疗UA方案的参考。 展开更多

关键词 部分可观察马尔科夫决策过程 不稳定心绞痛 治疗方案优化

在线阅读 下载PDF 职称材料

多目标跟踪中基于目标威胁度评估的传感器控制方法 被引量：9

13

作者 陈辉 贺忠良 +1 位作者 连峰 李晨 《电子与信息学报》 EI CSCD 北大核心 2018年第12期2861-2867,共7页

该文基于随机有限集的多目标滤波器提出一种基于目标威胁度评估的传感器控制策略。首先,在部分可观测马尔科夫决策过程(POMDP)的理论框架下,给出基于信息论的传感器控制一般方法。其次,结合目标运动态势对影响目标威胁度的因素进行分析... 该文基于随机有限集的多目标滤波器提出一种基于目标威胁度评估的传感器控制策略。首先,在部分可观测马尔科夫决策过程(POMDP)的理论框架下,给出基于信息论的传感器控制一般方法。其次,结合目标运动态势对影响目标威胁度的因素进行分析。然后,基于粒子多目标滤波器估计多目标状态,依据多目标运动态势的评估研究建立多目标威胁水平,并从多目标分布特性中深入分析并提取出当前时刻最大威胁度目标的分布特性。最后,利用Rényi散度作为传感器控制的评价指标,以最大威胁度目标的信息增益最大化为准则进行最终控制方案的求解。仿真实验验证了该方法的实用性和有效性。 展开更多

关键词 多目标跟踪 目标威胁度 战术重要性标绘 传感器控制 部分可观测马尔科夫决策过程

在线阅读 下载PDF 职称材料

基于POMDP的认知无线电自适应频谱感知算法 被引量：12

14

作者 许瑞琛 蒋挺 《通信学报》 EI CSCD 北大核心 2013年第6期49-56,共8页

针对如何建立适合毫秒级频谱空洞场景的频谱感知机制这一问题,推导出最佳次级用户单次数据传输时间长度,解决了数据传输量最大化的问题;其次提出一种基于部分可观测马尔科夫决策过程(POMDP,partiallyobservable Markov decision process... 针对如何建立适合毫秒级频谱空洞场景的频谱感知机制这一问题,推导出最佳次级用户单次数据传输时间长度,解决了数据传输量最大化的问题;其次提出一种基于部分可观测马尔科夫决策过程(POMDP,partiallyobservable Markov decision process)的自适应频谱感知算法,解决了快速接入毫秒级频谱空洞的问题。该算法根据上一决策时段的信念向量和感知结果自适应确定在当前决策时段内进行频谱感知或数据传输行为。仿真结果表明,该自适应频谱感知算法能够有效控制次级用户和主用户的冲突概率并增加频谱利用率。 展开更多

关键词 部分可观测马尔科夫决策过程 自适应感知 数据传输时间 冲突概率 频谱利用率

在线阅读 下载PDF 职称材料

认知Ad Hoc网络能量有效频谱接入策略 被引量：5

15

作者 张凯 刘洋 +1 位作者 赵彪 李鸥 《信号处理》 CSCD 北大核心 2013年第7期896-904,共9页

针对认知无线Ad Hoc网络中次用户能量受限问题,提出一种基于能量有效性的机会频谱接入策略。联合考虑信道状态的时变性和次用户的频谱感知准确性,基于部分可观测马尔科夫决策过程(POMDP)建立了一种最大化能量有效性的分析架构,指导次用... 针对认知无线Ad Hoc网络中次用户能量受限问题,提出一种基于能量有效性的机会频谱接入策略。联合考虑信道状态的时变性和次用户的频谱感知准确性,基于部分可观测马尔科夫决策过程(POMDP)建立了一种最大化能量有效性的分析架构,指导次用户选择能效最佳信道,并根据信念状态、信道增益和检测概率,自适应控制传输功率。仿真结果表明,该策略能够有效提高次用户传输的能量有效性,通过对传输功率的有效控制,实现了传输性能和能量开销的有效折中。 展开更多

关键词 认知无线电 机会频谱接入 能量有效性 部分可观测马尔科夫决策过程 传输功率控制

在线阅读 下载PDF 职称材料

一种基于最优策略概率分布的POMDP值迭代算法 被引量：4

16

作者 刘峰 王崇骏 骆斌 《电子学报》 EI CAS CSCD 北大核心 2016年第5期1078-1084,共7页

随着应用中POMDP问题的规模不断扩大,基于最优策略可达区域的启发式方法成为了目前的研究热点.然而目前已有的算法虽然保证了全局最优,但选择最优动作还不够精确,影响了算法的效率.本文提出一种基于最优策略概率的值迭代方法 PBVIOP.该... 随着应用中POMDP问题的规模不断扩大,基于最优策略可达区域的启发式方法成为了目前的研究热点.然而目前已有的算法虽然保证了全局最优,但选择最优动作还不够精确,影响了算法的效率.本文提出一种基于最优策略概率的值迭代方法 PBVIOP.该方法在深度优先的启发式探索中,根据各个动作值函数在其上界和下界之间的分布,用蒙特卡罗法计算动作最优的概率,选择概率最大的动作作为最优探索策略.在4个基准问题上的实验结果表明PBVIOP算法能够收敛到全局最优解,并明显提高了收敛效率. 展开更多

关键词 部分可观测马尔科夫决策过程 基于最优策略概率的值迭代算法 蒙特卡罗法

在线阅读 下载PDF 职称材料

基于分层强化学习的AUV路径跟踪技术研究 被引量：2

17

作者 潘昕 冯国利 侯新国 《海军工程大学学报》 CAS 北大核心 2021年第3期106-112,共7页

针对传统的欠驱动无人自主水下航行器路径跟踪技术依赖于精确的运动模型,且在三维空间中的应用存在着理论推导复杂、实际应用价值不高的缺点,首先将路径跟踪看作部分马尔科夫决策过程,通过在Soft Actor Critic框架中引入LSTM网络,提出LS... 针对传统的欠驱动无人自主水下航行器路径跟踪技术依赖于精确的运动模型,且在三维空间中的应用存在着理论推导复杂、实际应用价值不高的缺点,首先将路径跟踪看作部分马尔科夫决策过程,通过在Soft Actor Critic框架中引入LSTM网络,提出LSTM-SAC算法解决二维路径跟踪问题;然后,将三维空间的跟踪问题利用分层思想划分到xOy和xOz两个子平面求解,在子平面中以较少的状态变量训练网络。仿真结果表明:所提算法具有更好的鲁棒性和更快的收敛速度,能够有效解决三维环境下的路径跟踪问题。 展开更多

关键词 AUV 路径跟踪 部分马尔科夫决策过程 分层强化学习

在线阅读 下载PDF 职称材料

基于点的FO-POMDP值迭代方法研究 被引量：1

18

作者 陈丽娜 黄宏斌 邓苏 《计算机工程》 CAS CSCD 2013年第10期217-220,共4页

在部分可观测马尔可夫决策过程(POMDP)的基础上,给出一阶部分可观测马尔科夫决策过程(FO-POMDP),用一阶逻辑的情景演算结构表达POMDP。对FO-POMDP模型中状态的抽象层次进行刻画,提出状态粒度、信念状态粒度的概念。采用粒度归结方法,将... 在部分可观测马尔可夫决策过程(POMDP)的基础上,给出一阶部分可观测马尔科夫决策过程(FO-POMDP),用一阶逻辑的情景演算结构表达POMDP。对FO-POMDP模型中状态的抽象层次进行刻画,提出状态粒度、信念状态粒度的概念。采用粒度归结方法,将信念状态的粒度归结到某一确定粒度下,运用确定粒度下的信念点距离度量方法,将基于点的价值迭代(PBVI)扩展到逻辑抽象层面提出一阶PBVI(FO-PBVI)。实验结果证明,该算法的求解速度较快,求解质量较好。 展开更多

关键词 部分可观测马尔科夫决策过程 状态空间 信念状态 粒度归结 基于点的值迭代

在线阅读 下载PDF 职称材料

基于强化学习的动态频谱分配研究 被引量：1

19

作者 杜江 刘毅 《数字通信》 2012年第4期34-38,共5页

首先介绍了认知无线电技术产生的背景,以及强化学习的发展和应用于认知领域的优势;接着对强化学习的基本原理及其2个常见的模型Q-Learning和POMDP作了介绍,并对其模型定义、思想、所要描述的问题和使用的场景都做了较详细的阐述;然后针... 首先介绍了认知无线电技术产生的背景,以及强化学习的发展和应用于认知领域的优势;接着对强化学习的基本原理及其2个常见的模型Q-Learning和POMDP作了介绍,并对其模型定义、思想、所要描述的问题和使用的场景都做了较详细的阐述;然后针对这个方向最近几年的顶级会议和期刊论文,分析了其主要内容;通过最近几年的学术、会议论文中所述的研究现状及成果,说明强化学习的主要特点是能够准确、快速学习到最优策略,能够模拟真实环境,自适应性强,提高频谱感知、分配效率,从而最大化系统吞吐量,这些优势充分证明了强化学习将是认知领域里一种很有前景的技术。 展开更多

关键词 认知无线电 动态频谱分配 强化学习 Q学习 部分感知 马尔科夫决策过程

在线阅读 下载PDF 职称材料

基于杂合标准的POMDP值迭代求解算法 被引量：1

20

作者 刘峰 《模式识别与人工智能》 EI CSCD 北大核心 2016年第11期961-968,共8页

基于点的值迭代方法是求解部分可观测马尔科夫决策过程(POMDP)问题的一类有效算法.目前基于点的值迭代算法大都基于单一启发式标准探索信念点集,从而限制算法效果.基于此种情况,文中提出基于杂合标准探索信念点集的值迭代算法(HHVI),可... 基于点的值迭代方法是求解部分可观测马尔科夫决策过程(POMDP)问题的一类有效算法.目前基于点的值迭代算法大都基于单一启发式标准探索信念点集,从而限制算法效果.基于此种情况,文中提出基于杂合标准探索信念点集的值迭代算法(HHVI),可以同时维持值函数的上界和下界.在扩展探索点集时,选取值函数上下界差值大于阈值的信念点进行扩展,并且在值函数上下界差值大于阈值的后继信念点中选择与已探索点集距离最远的信念点进行探索,保证探索点集尽量有效分布于可达信念空间内.在4个基准问题上的实验表明,HHVI能保证收敛效率,并能收敛到更好的全局最优解. 展开更多

关键词 部分可观测马尔科夫决策过程(POMDP) 杂合启发式值迭代 可达信念空间 探索价值

在线阅读 下载PDF 职称材料