基于大语言模型的CIL-LLM类别增量学习框架

1

作者 王晓宇 李欣 +1 位作者 胡勉宁 薛迪 《计算机科学与探索》 北大核心 2025年第2期374-384,共11页

在文本分类领域,为了提升类别增量学习模型的分类准确率并避免灾难性遗忘问题,提出了一种基于大语言模型(LLM)的类别增量学习框架(CIL-LLM)。CIL-LLM框架通过抽样和压缩环节选取具有代表性的样本,利用较强语言理解能力的LLM基于上下文... 在文本分类领域,为了提升类别增量学习模型的分类准确率并避免灾难性遗忘问题,提出了一种基于大语言模型(LLM)的类别增量学习框架(CIL-LLM)。CIL-LLM框架通过抽样和压缩环节选取具有代表性的样本,利用较强语言理解能力的LLM基于上下文学习提炼关键技能,以这些技能作为分类的依据,从而降低了存储成本;采用关键词匹配环节选取最优技能,以此构建提示词,引导下游弱LLM进行分类,提高了分类的准确性;根据基于知识蒸馏的技能融合环节,不仅实现了技能库的有效拓展和更新,还兼顾了新旧类别特性的学习。对比实验结果表明,在THUCNews数据集上的测试中,与现有的L-SCL方法相比,CIL-LLM框架在所有任务上的平均准确率提升了6.3个百分点,性能下降率降低了3.1个百分点。此外,在消融实验中,经由CIL-LLM框架增强的SLEICL模型相比于原有模型,所有任务的平均准确率提高了10.4个百分点,性能下降率降低了3.3个百分点。消融实验进一步验证了提出的样本压缩、关键词匹配和技能融合环节均对模型的准确率和性能下降率产生了优化效果。 展开更多

关键词 类别增量学习 大语言模型(LLM) 主题分类 知识蒸馏

在线阅读 下载PDF 职称材料

基于概率主题建模的图像语义学习与检索 被引量：3

2

作者 李志欣 陈宏朝 +1 位作者 吴璟莉 周生明 《广西师范大学学报（自然科学版）》 CAS 北大核心 2012年第3期125-134,共10页

针对图像检索中存在的"语义鸿沟"问题,本文提出一种语义学习模型进行图像的自动标注。首先提出连续的概率潜在语义分析(PLSA)模型及对应的参数估计算法,并利用最大惩罚似然的方法解决协方差矩阵的奇异性问题;然后,提出一个根... 针对图像检索中存在的"语义鸿沟"问题,本文提出一种语义学习模型进行图像的自动标注。首先提出连续的概率潜在语义分析(PLSA)模型及对应的参数估计算法,并利用最大惩罚似然的方法解决协方差矩阵的奇异性问题;然后,提出一个根据不同模态数据各自的特点进行处理的概率模型,该模型使用连续PLSA和传统PLSA分别建模视觉特征和文本关键词,并通过不对称学习算法发现两种模态之间共有的语义主题,从而能更精确地对未知图像进行标注。通过在分别包含5 000幅和31 695幅图像的两个标准Corel数据集上进行实验,并与几种典型的图像标注方法进行比较的结果表明,文中方法具有更高的精度和更好的效果。 展开更多

关键词 图像自动标注 主题模型 连续PLSA 语义学习 图像检索

在线阅读 下载PDF 职称材料

基于相关主题模型和多层知识表示的文本情感分析 被引量：3

3

作者 马长林 王涛 《郑州大学学报（理学版）》 北大核心 2021年第4期30-35,共6页

将相关主题模型和多层知识表示方法相结合开展文本情感分析研究。首先,针对传统分割算法的不足和主题间相关关系,采用相关主题模型对文本进行主题特征分割,构造主题先验信息输入预训练语言模型;其次,基于主题先验信息和相关关系向量,采... 将相关主题模型和多层知识表示方法相结合开展文本情感分析研究。首先,针对传统分割算法的不足和主题间相关关系,采用相关主题模型对文本进行主题特征分割,构造主题先验信息输入预训练语言模型;其次,基于主题先验信息和相关关系向量,采用预训练的语言模型嵌入进行文本词的动态表示,能有效解决一词多义的问题;最后,使用双向长短期记忆模型对文本句子进行表示,考虑每个词的前后信息来捕捉句子的位置信息,在句子表示向量的信息抽取中融入注意力机制,使用多头抽取考虑全局的方式,可以抽取更全面的文本信息。 展开更多

关键词 相关主题模型 多层知识表示 深度学习 文本分割 注意力机制

在线阅读 下载PDF 职称材料

面向小样本学习的轻量化知识蒸馏 被引量：2

4

作者 陈嘉言 任东东 +2 位作者 李文斌 霍静 高阳 《软件学报》 EI CSCD 北大核心 2024年第5期2414-2429,共16页

小样本学习旨在模拟人类基于少数样例快速学习新事物的能力,对解决样本匮乏情境下的深度学习任务具有重要意义.但是,在诸多计算资源有限的现实任务中,模型规模仍可能限制小样本学习的广泛应用.这对面向小样本学习的轻量化任务提出了现... 小样本学习旨在模拟人类基于少数样例快速学习新事物的能力,对解决样本匮乏情境下的深度学习任务具有重要意义.但是,在诸多计算资源有限的现实任务中,模型规模仍可能限制小样本学习的广泛应用.这对面向小样本学习的轻量化任务提出了现实的需求.知识蒸馏作为深度学习领域广泛使用的辅助策略,通过额外的监督信息实现模型间知识迁移,在提升模型精度和压缩模型规模方面都有实际应用.首先验证知识蒸馏策略在小样本学习模型轻量化中的有效性.并结合小样本学习任务的特点,针对性地设计两种新的小样本蒸馏方法:(1)基于图像局部特征的蒸馏方法;(2)基于辅助分类器的蒸馏方法.在miniImageNet和TieredImageNet数据集上的相关实验证明所设计的新的蒸馏方法相较于传统知识蒸馏在小样本学习任务上具有显著优越性. 展开更多

关键词 深度学习 小样本学习 图像识别 知识蒸馏 模型轻量化

在线阅读 下载PDF 职称材料

基于知识元模型的跨模态聊天卡通表情图像合成 被引量：1

5

作者 李小瑞 谢诚 +2 位作者 李宾 柳青 胡健龙 《图学学报》 CSCD 北大核心 2021年第6期908-916,共9页

传统的聊天卡通表情图像生成技术主要基于预定义的聊天卡通表情图像库,通过用户的语义描述,进行“语义-视觉”跨模态检索,匹配合适的表情图像。但是,预定义表情图像库样本数量有限且是固定形式的,在实际的聊天场景中常常出现表情图像的... 传统的聊天卡通表情图像生成技术主要基于预定义的聊天卡通表情图像库,通过用户的语义描述,进行“语义-视觉”跨模态检索,匹配合适的表情图像。但是,预定义表情图像库样本数量有限且是固定形式的,在实际的聊天场景中常常出现表情图像的错误匹配或无合适匹配。针对此问题,聚焦于合成新的聊天卡通表情图像而非检索,设计了一种基于知识元模型的跨模态聊天卡通表情图像合成方法,根据用户的语义描述,即时合成对应的聊天卡通表情图像。通过表情知识元模型建立聊天卡通表情图像的内在语义逻辑关系,增强聊天卡通表情图像合成的语义一致性。通过多生成器模型,从每个元知识点合成对应的局部图像,再经过联合生成器整合为完整的卡通表情图像,极大地减少了训练样本需求。在公开的聊天卡通表情图像合成数据集的测试中,该方法在语义一致性上取得了更好的结果,同时在图像质量上与现有的方法具有可比性。 展开更多

关键词 图像生成 跨模态学习 文本合成图像(T2I) 知识元模型 图像表情包

在线阅读 下载PDF 职称材料

基于在线知识蒸馏的物理感知图像去雾算法

6

作者 兰云伟 崔智高 +3 位作者 李晓阳 苏延召 王念 李爱华 《火箭军工程大学学报》 2024年第3期38-44,共7页

为解决传统图像模型在去雾时会产生伪影、光晕等问题,结合深度学习,提出了一种基于在线知识蒸馏的物理感知图像去雾算法。算法首先通过物理感知单元构建的多尺度网络获取丰富的共享特征,然后采用基于模型的方式和端到端的方式分别生成... 为解决传统图像模型在去雾时会产生伪影、光晕等问题,结合深度学习,提出了一种基于在线知识蒸馏的物理感知图像去雾算法。算法首先通过物理感知单元构建的多尺度网络获取丰富的共享特征,然后采用基于模型的方式和端到端的方式分别生成去雾图像,最后采用特征聚合块来融合两种方式生成的去雾图像。此外,算法采用在线知识蒸馏的学习策略来联合优化网络。实验结果表明:与其他去雾算法相比,所提算法在合成图像和真实场景图像上均取得了优异性能,在合成有雾室外数据集SOTS上的峰值信噪比和结构相似度分别为23.59 dB和0.937。 展开更多

关键词 图像去雾 图像增强 物理模型 深度学习 在线知识蒸馏

在线阅读 下载PDF 职称材料

融合语义主题的图像自动标注 被引量：50

7

作者 李志欣 施智平 +1 位作者 李志清 史忠植 《软件学报》 EI CSCD 北大核心 2011年第4期801-812,共12页

由于语义鸿沟的存在,图像自动标注已成为一个重要课题.在概率潜语义分析的基础上,提出了一种融合语义主题的方法以进行图像的标注和检索.首先,为了更准确地建模训练数据,将每幅图像的视觉特征表示为一个视觉"词袋";然后设计... 由于语义鸿沟的存在,图像自动标注已成为一个重要课题.在概率潜语义分析的基础上,提出了一种融合语义主题的方法以进行图像的标注和检索.首先,为了更准确地建模训练数据,将每幅图像的视觉特征表示为一个视觉"词袋";然后设计一个概率模型分别从视觉模态和文本模态中捕获潜在语义主题,并提出一种自适应的不对称学习方法融合两种语义主题.对于每个图像文档,它在各个模态上的主题分布通过加权进行融合,而权值由该文档的视觉词分布的熵值来确定.于是,融合之后的概率模型适当地关联了视觉模态和文本模态的信息,因此能够很好地预测未知图像的语义标注.在一个通用的Corel图像数据集上,将提出的方法与几种前沿的图像标注方法进行了比较.实验结果表明,该方法具有更好的标注和检索性能. 展开更多

关键词 图像自动标注 主题模型 概率潜语义分析 自适应不对称学习 图像检索

在线阅读 下载PDF 职称材料

一种基于概率距离尺度学习的图像标注方法 被引量：3

8

作者 田璟 郭智 +2 位作者 黄宇 黄廷磊 付琨 《国外电子测量技术》 2015年第7期19-23,共5页

大部分传统的基于距离尺度学习的图像标注方法假设训练样本之间存在确定的约束关系。这样的假设在小规模、精准的数据集上可以取得一定的效果。但是当数据量较大,每幅图像有多个标注且部分标注含有噪声时,这种过于理想的假设则不成立。... 大部分传统的基于距离尺度学习的图像标注方法假设训练样本之间存在确定的约束关系。这样的假设在小规模、精准的数据集上可以取得一定的效果。但是当数据量较大,每幅图像有多个标注且部分标注含有噪声时,这种过于理想的假设则不成立。提出了一种基于概率主题模型的距离尺度学习方法,通过概率主题模型挖掘这种模糊的、潜在的不确定辅助信息,并应用于后续的距离尺度学习中得到语义上距离尺度,改进基于搜索的图像标注性能。在Flickr数据集上的实验证明所提出方法比当前方法具有更好的图像自动标注性能。 展开更多

关键词 图像标注 距离尺度学习 概率主题模型 GIBBS采样

在线阅读 下载PDF 职称材料

基于知识蒸馏理论的矿石图像分类研究 被引量：2

9

作者 王杉 高兰 何鹏宇 《现代电子技术》 2022年第8期149-154,共6页

针对利用卷积神经网络对矿石进行智能分选时,难以同时提高矿石分类精确度和处理量的问题,文中提出一种基于知识蒸馏理论的矿石图像分类方法。首先,改变传统LeNet-5网络模型中的激活函数;其次,引入知识蒸馏理论对模型进行迁移学习,从而... 针对利用卷积神经网络对矿石进行智能分选时,难以同时提高矿石分类精确度和处理量的问题,文中提出一种基于知识蒸馏理论的矿石图像分类方法。首先,改变传统LeNet-5网络模型中的激活函数;其次,引入知识蒸馏理论对模型进行迁移学习,从而达到模型优化的效果;最后,提取图像特征信息,利用优化后的模型对矿石图像进行分类,以减少系统资源占用并提高分类准确率。实验结果表明:使用知识蒸馏理论后,新模型训练准确率达到98.4%,相比优化之前提升5%;精矿识别准确率达到97.78%,提升7%;尾矿识别准确率达到98.78%,提高20%。此外,文中分类方法的识别速度达到平均12 ms识别50颗矿石,即处理量高达62 t/h,满足工业需求,说明优化后的模型具有高效性和实时性。 展开更多

关键词 矿石分选 图像分类 卷积神经网络 知识蒸馏理论 迁移学习 模型优化 特征提取

在线阅读 下载PDF 职称材料

基于多阶段多生成对抗网络的互学习知识蒸馏方法 被引量：3

10

作者 黄仲浩 杨兴耀 +2 位作者 于炯 郭亮 李想 《计算机科学》 CSCD 北大核心 2022年第10期169-175,共7页

针对传统的知识蒸馏方法在图像分类任务中对知识蒸馏的效率不高、阶段训练方式单一、训练过程复杂且难收敛的问题,设计了一种基于多阶段多生成对抗网络(MS-MGANs)的互学习知识蒸馏方法。首先,将整个训练过程划分为多个阶段,得到不同阶... 针对传统的知识蒸馏方法在图像分类任务中对知识蒸馏的效率不高、阶段训练方式单一、训练过程复杂且难收敛的问题,设计了一种基于多阶段多生成对抗网络(MS-MGANs)的互学习知识蒸馏方法。首先,将整个训练过程划分为多个阶段,得到不同阶段的老师模型,用于逐步指导学生模型,获得更好的精度效果;其次,引入逐层贪婪策略取代传统的端到端训练模式,通过基于卷积块的逐层训练来减少每阶段迭代过程中需优化的参数量,进一步提高模型蒸馏效率;最后,在知识蒸馏框架中引入生成对抗结构,使用老师模型作为特征辨别器,使用学生模型作为特征生成器,促使学生模型在不断模仿老师模型的过程中更好地接近甚至超越老师模型的性能。在多个公开的图像分类数据集上对所提方法和其他流行的知识蒸馏方法进行对比实验,实验结果表明所提知识蒸馏方法具有更好的图像分类性能。 展开更多

关键词 互学习知识蒸馏 逐层贪婪策略 生成对抗网络 模型压缩 图像分类

在线阅读 下载PDF 职称材料

基于剪枝网络的知识蒸馏对遥感卫星图像分类方法 被引量：4

11

作者 杨宏炳 迟勇欣 王金光 《计算机应用研究》 CSCD 北大核心 2021年第8期2469-2473,共5页

针对目前遥感图像在应用卷积神经网络分类时需要大量计算,并占用大量内存的问题,提出了一种基于剪枝网络的知识蒸馏对遥感图像分类方法。以模型剪枝理论为基础,在网络结构中引入注意力机制,加强对重要特征的提取之后,并对网络进行模型剪... 针对目前遥感图像在应用卷积神经网络分类时需要大量计算,并占用大量内存的问题,提出了一种基于剪枝网络的知识蒸馏对遥感图像分类方法。以模型剪枝理论为基础,在网络结构中引入注意力机制,加强对重要特征的提取之后,并对网络进行模型剪枝,然后引入知识蒸馏技术对模型进行迁移学习,补偿模型剪枝之后分类精度的损失。为了证明方法的先进性与可靠性,利用在NWPU-RESISC45遥感卫星数据集上,与同类算法进行对比实验。实验结果表明,所提方法不仅在分类精度有更好的表现,并且在模型大小上更具有优势。 展开更多

关键词 遥感图像 深度学习 注意力机制 模型剪枝 知识蒸馏

在线阅读 下载PDF 职称材料

一种融合主题特征的自适应知识表示方法 被引量：3

12

作者 陈文杰 《计算机工程》 CAS CSCD 北大核心 2021年第1期87-93,100,共8页

基于翻译的表示学习模型TransE被提出后,研究者提出一系列模型对其进行改进和补充,如TransH、TransG、TransR等。然而,这类模型往往孤立学习三元组信息,忽略了实体和关系相关的描述文本和类别信息。基于主题特征构建TransATopic模型,在... 基于翻译的表示学习模型TransE被提出后,研究者提出一系列模型对其进行改进和补充,如TransH、TransG、TransR等。然而,这类模型往往孤立学习三元组信息,忽略了实体和关系相关的描述文本和类别信息。基于主题特征构建TransATopic模型,在学习三元组的同时融合关系中的描述文本信息,以增强知识图谱的表示效果。采用基于主题模型和变分自编器的关系向量构建方法,根据关系上的主题分布信息将同一关系表示为不同的实值向量,同时将损失函数中的距离度量由欧式距离改进为马氏距离,从而实现向量不同维权重的自适应赋值。实验结果表明,在应用于链路预测和三元组分类等任务时,TransATopic模型的MeanRank、HITS@5和HITS@10指标较TransE模型均有显著改进。 展开更多

关键词 知识图谱 表示学习 主题模型 变分自编码器 马氏距离

在线阅读 下载PDF 职称材料

基于模型压缩YOLOv4的弹载图像舰船目标实时检测 被引量：3

13

作者 雷鸣 王曙光 +2 位作者 凌冲 杨传栋 秦杰 《兵器装备工程学报》 CSCD 北大核心 2021年第9期225-230,共6页

根据深度学习目标检测算法YOLOv4弹载平台移植的实时性和轻量化需求,针对YOLOv4网络模型参数冗余导致的储存空间成本高和运算资源占用大等问题,在PC端使用舰船数据集训练模型并对其进行模型压缩。采用L1正则化稀疏训练的方法对预训练模... 根据深度学习目标检测算法YOLOv4弹载平台移植的实时性和轻量化需求,针对YOLOv4网络模型参数冗余导致的储存空间成本高和运算资源占用大等问题,在PC端使用舰船数据集训练模型并对其进行模型压缩。采用L1正则化稀疏训练的方法对预训练模型进行BN层Gamma系数稀疏化,通过剪枝技术在精度下降较少的情况下减少模型参数并压缩模型结构,使用知识蒸馏技术使模型精度进一步回升。实验结果表明,压缩后模型体积减少92%,参数减少91.9%,推理速度提升2倍,实现了高精度实时检测。 展开更多

关键词 目标检测 深度学习 弹载图像 舰船目标 模型压缩 知识蒸馏

在线阅读 下载PDF 职称材料

基于空间注意力图的知识蒸馏算法 被引量：1

14

作者 王礼乐 刘渊 《计算机应用研究》 CSCD 北大核心 2024年第6期1693-1698,共6页

知识蒸馏算法对深度神经网络的精简具有很大的推动作用。当前基于特征的知识蒸馏算法或只关注单个部分进行改进,忽视了其他有益部分,或是对小模型应重点关注的部分提供有效指导,这使得蒸馏的效果有所欠缺。为了充分利用大模型的有益信... 知识蒸馏算法对深度神经网络的精简具有很大的推动作用。当前基于特征的知识蒸馏算法或只关注单个部分进行改进,忽视了其他有益部分,或是对小模型应重点关注的部分提供有效指导,这使得蒸馏的效果有所欠缺。为了充分利用大模型的有益信息并处理,以提升小模型知识转换率,提出一种新型蒸馏算法。该算法首先使用条件概率分布对大模型中间层进行特征空间分布拟合,提取拟合后趋于相似的空间注意力图,将其与其他有益信息一起,通过用于缩小模型间差距的小型卷积层,将转换后的信息传递给小模型,实现蒸馏。实验结果表明,该算法具有多师生组合适用性与多数据集通用性,相比于当前较为先进的蒸馏算法,性能提升约1.19%,用时缩短0.16 h。对大型网络的优化与深度学习部署在低资源设备上的应用具有重要的工程意义与广泛的应用前景。 展开更多

关键词 知识蒸馏 知识迁移 模型压缩 深度学习 图像分类

在线阅读 下载PDF 职称材料

在小学数学课堂中培养学生模型意识 被引量：3

15

作者 杨甜 《陕西教育（教学）》 2024年第5期77-77,共1页

模型意识主要是指对数学模型普适性的初步感悟。模型意识有助于跨学科主题学习的开展,增强学生的数学应用意识。从目前的状况来看,大部分学生都具备一定的数学模型意识。只有让学生经历主动建构的过程,才能理解知识的本质,在生活中遇到... 模型意识主要是指对数学模型普适性的初步感悟。模型意识有助于跨学科主题学习的开展,增强学生的数学应用意识。从目前的状况来看,大部分学生都具备一定的数学模型意识。只有让学生经历主动建构的过程,才能理解知识的本质,在生活中遇到困难时更好地运用知识解决问题。 展开更多

关键词 主题学习 模型意识 理解知识 主动建构 数学应用意识 小学数学课堂 数学模型 跨学科

在线阅读 下载PDF 职称材料

基于元原型网络的无参考图像质量评价

16

作者 邱文新 贾惠珍 王同罕 《现代电子技术》 北大核心 2024年第11期45-50,共6页

针对基于深度学习的模型因需要大量标注数据而选择在预训练模型上进行微调,导致面对新任务泛化性不足的问题,提出一种基于元原型网络的无参考图像质量评价算法。利用元原型网络提取相关任务中的元知识形成质量先验模型,在面对未知任务... 针对基于深度学习的模型因需要大量标注数据而选择在预训练模型上进行微调,导致面对新任务泛化性不足的问题,提出一种基于元原型网络的无参考图像质量评价算法。利用元原型网络提取相关任务中的元知识形成质量先验模型,在面对未知任务时快速泛化。首先,在不同失真的数据集上利用元学习方法获取各种失真的共享先验知识得到质量先验模型;接着,为了能够更好地捕获各种失真场景共享先验知识,利用元原型单元对图像特征进行重建,以获得更加丰富的先验知识,从而便于后续的质量分数预测过程;最后,在目标任务上对质量先验模型进行微调,以构建质量模型。在CID2013、LIVE challenge和KonIQ-10K三个数据库上的实验结果表明,所提方法具有更好的性能。 展开更多

关键词 无参考图像质量评价 元学习 元原型网络 元原型单元 质量先验模型 共享先验知识

在线阅读 下载PDF 职称材料

大单元教学下科学概念层次模型与评估——以三年级“水”单元教学为例

17

作者 余彩丽 《湖北教育》 2024年第13期53-56,共4页

大单元教学是我国科学教育关注的热点问题之一。科学课程标准提到,要探索大单元教学,积极开展主题化、项目式学习等综合性教学活动,促进学生举一反三、融会贯通,加强知识间的内在关联,促进知识结构化。教科版教材注重采用大单元的组织形... 大单元教学是我国科学教育关注的热点问题之一。科学课程标准提到,要探索大单元教学,积极开展主题化、项目式学习等综合性教学活动,促进学生举一反三、融会贯通,加强知识间的内在关联,促进知识结构化。教科版教材注重采用大单元的组织形式,让学生形成连贯的思维以及整体认识。在三年级“水”单元教学中,我们尝试运用科学概念驱动大单元教学,并对比传统单课教学评估其有效性。 展开更多

关键词 单元教学 项目式学习 知识结构化 科学概念 主题化 举一反三 概念驱动 层次模型

在线阅读 下载PDF 职称材料

融合知识迁移和改进YOLOv6的变电设备热像检测方法 被引量：8

18

作者 赵振兵 冯烁 +2 位作者 赵文清 翟永杰 王洪涛 《智能系统学报》 CSCD 北大核心 2023年第6期1213-1222,共10页

针对变电设备热像检测中存在复杂背景样本不足和设备定位困难的问题,提出了融合知识迁移和改进YOLOv6的变电设备热像检测方法。针对复杂背景样本不足问题,使用扩散模型从域外数据中提取背景知识来生成背景图像,将设备样本迁移到背景图... 针对变电设备热像检测中存在复杂背景样本不足和设备定位困难的问题,提出了融合知识迁移和改进YOLOv6的变电设备热像检测方法。针对复杂背景样本不足问题,使用扩散模型从域外数据中提取背景知识来生成背景图像,将设备样本迁移到背景图像中生成人工热像;针对设备难以被精准定位的问题,将多头注意力机制和显示视觉中心模块融入YOLOv6模型,改善模型的特征提取能力。实验结果表明,该方法对设备的平均检测准确率达到86.4%,召回率达到89.4%,相较于基线模型分别提升了3.1%和1.5%,为变电设备热像检测提供了新的实现方法。 展开更多

关键词 变电设备 热红外图像 知识迁移 样本生成 目标检测 扩散模型 数据扩增 深度学习

在线阅读 下载PDF 职称材料

医学图像语义概念识别方法研究 被引量：1

19

作者 王序文 张宇 +1 位作者 郭臻 李姣 《中国生物医学工程学报》 CAS CSCD 北大核心 2019年第3期306-314,共9页

医学图像语义概念识别是医学图像知识表示的重要技术环节。研究医学图像语义概念识别方法,有助于机器理解和学习医学图像中的潜在医学知识,在影像辅助诊断和智能读片等应用中发挥重要作用。将医学图像的高频概念识别问题转化为多标签分... 医学图像语义概念识别是医学图像知识表示的重要技术环节。研究医学图像语义概念识别方法,有助于机器理解和学习医学图像中的潜在医学知识,在影像辅助诊断和智能读片等应用中发挥重要作用。将医学图像的高频概念识别问题转化为多标签分类任务,利用基于卷积神经网络的深度迁移学习方法,识别有限数量的高频医学概念;同时利用基于图像检索的主题建模方法,从给定医学图像的相似图像中提取语义相关概念。国际跨语言图像检索论坛ImageCLEF于2018年5月组织ImageCLEFcaption 2018评测,其子任务'概念检测'的目标是给定222 314张训练图片和9 938张测试图片,识别111 156个语义概念。上述两种方法的实验结果已被提交。实验结果表明,利用基于卷积神经网络的深度迁移学习方法识别医学图像高频概念,F1值为0.092 8,在提交团队中排名第二;基于图像检索的主题模型可召回部分低频相关概念,F1值为0.090 7,然而其性能依赖于图像检索结果的质量。基于卷积神经网络的深度迁移学习方法识别医学图像高频概念的鲁棒性优于基于图像检索方法的鲁棒性,但在大规模开放语义概念的识别技术研究上仍需进一步完善。 展开更多

关键词 概念识别 深度迁移学习 多标签分类 医学图像检索 主题模型

在线阅读 下载PDF 职称材料

融合语义与图像的大规模图像集检索算法 被引量：1

20

作者 解姗姗 神显豪 《重庆理工大学学报（自然科学）》 CAS 北大核心 2019年第7期178-186,共9页

目前的大数据图像检索算法大多仅支持单一的关键词或者图像查询,为此提出了一种语义与图像概率融合的社交媒体图像检索算法。该算法提取图像的空间位置特征与颜色特征,并提取文字标注信息,将两种特征基于概率进行融合。为了解决图像标... 目前的大数据图像检索算法大多仅支持单一的关键词或者图像查询,为此提出了一种语义与图像概率融合的社交媒体图像检索算法。该算法提取图像的空间位置特征与颜色特征,并提取文字标注信息,将两种特征基于概率进行融合。为了解决图像标注缺失与标注噪声的问题,设计了新的主题模型,根据共生的标注信息与视觉特征提取图像的语义主题。主题模型中基于视觉特征生成的最近主题能够有效地增强图像与文字标注之间的相关性。此外,主题模型能够有效地补全缺失的文字标注信息,同时删除噪声标注。基于不同规模的数据集进行了仿真实验,结果显示:该算法支持单一的关键词查询、图像查询以及两者的组合查询,并实现了较高的检索准确率。 展开更多

关键词 社交图像 图像视觉特征 主题模型 文字标注 半监督学习 图像检索

在线阅读 下载PDF 职称材料