期刊文献+
共找到470篇文章
< 1 2 24 >
每页显示 20 50 100
基于多模态数据的宫颈癌专病库建设
1
作者 王琳琳 郝文杰 +2 位作者 郝鹏鹏 崔芳芳 何贤英 《中国数字医学》 2025年第1期77-81,共5页
目的:更好地利用真实世界的宫颈癌诊疗数据,提高宫颈癌的防控和诊疗水平。方法:采用大数据技术框架,基于对业务、数据等流程的分析,汇聚郑州大学第一附属医院宫颈癌患者数据,通过数据治理、专病库系统设计等,构建多模态宫颈癌专病库。结... 目的:更好地利用真实世界的宫颈癌诊疗数据,提高宫颈癌的防控和诊疗水平。方法:采用大数据技术框架,基于对业务、数据等流程的分析,汇聚郑州大学第一附属医院宫颈癌患者数据,通过数据治理、专病库系统设计等,构建多模态宫颈癌专病库。结果:基于12个临床信息系统,构建了涵盖64个数据模型、2393个字段的多模态宫颈癌专病库,纳入2.2万余例患者、30.9万余人次的就诊信息,并开发了涵盖数据画像、患者全景、研究项目、数据分析、随访中心、辅助诊疗、知识库、专病库管理等8大功能模块的专病库管理系统。结论:该专病库实现了同一患者跨系统信息的关联整合,并为宫颈癌临床研究提供了多模态、标准化、可便捷获取的高质量数据。 展开更多
关键词 专病库 宫颈癌 模态数据 数据治理
在线阅读 下载PDF
多模态数据融合下高校廉洁文化建设路径研究
2
作者 易雪媛 夏莹 黄玙 《改革与开放》 2025年第2期88-93,104,共7页
高校作为培养人才的重要阵地,进行廉洁文化建设对培养具有高尚品德和道德责任感的人才具有重要意义。多模态数据融合可以对不同类型的廉洁文化数据源进行采集、处理、分析、挖掘及可视化展示,为高校廉洁文化建设提供更为全面、细致、深... 高校作为培养人才的重要阵地,进行廉洁文化建设对培养具有高尚品德和道德责任感的人才具有重要意义。多模态数据融合可以对不同类型的廉洁文化数据源进行采集、处理、分析、挖掘及可视化展示,为高校廉洁文化建设提供更为全面、细致、深入的信息支持和决策依据。文章分析多模态数据融合技术在高校廉洁教育、廉洁文化宣传、廉洁文化资源共享、廉洁监督实践等方面的应用,提出了高校廉洁文化建设路径,包括构建多模态数据融合平台、开展数据特征提取与表示、进行数据建模与分析以及实现数据可视化与交互,以期为高校创新廉洁文化培育模式提供一定借鉴。 展开更多
关键词 廉洁文化 模态数据融合 建设路径
在线阅读 下载PDF
奶牛个体头部多模态图像深度学习训练数据集 被引量:1
3
作者 杜林煊 曹姗姗 +2 位作者 刘婷婷 孙伟 孔繁涛 《中国科学数据(中英文网络版)》 2025年第1期4-13,共10页
随着农业现代化与精准农业的推进,畜牧业的智能化与精准化管理在动物健康监测、养殖过程管理以及精准养殖等领域展现出广泛的应用前景。基于图像分析的非接触式健康监测技术,利用计算机视觉与红外成像,可实时监控奶牛的生理状态和行为特... 随着农业现代化与精准农业的推进,畜牧业的智能化与精准化管理在动物健康监测、养殖过程管理以及精准养殖等领域展现出广泛的应用前景。基于图像分析的非接触式健康监测技术,利用计算机视觉与红外成像,可实时监控奶牛的生理状态和行为特征,为疾病预警与生产管理优化提供支持。本研究构建了一个涵盖奶牛个体头部多模态图像的数据集,包含50头奶牛在自然活动状态下,不同光照条件(昼间和夜间)下采集的图像数据。本数据集包括2636组经过配准的可见光图像(VIS)和红外热成像图像(IRT),并对IRT图像中的奶牛头部区域进行了精确标注。通过模糊检测、图像质量评估和数据增强等技术优化了数据质量,确保数据多样性和真实性。本数据集可为跨模态学习、图像配对与行为分析研究提供基础,助力智能监测系统与精准农业的发展。 展开更多
关键词 奶牛个体检测 红外测温图像 模态数据 精准农业 奶牛健康监测 深度学习
在线阅读 下载PDF
AP-IS:面向多模态数据的智能高效索引选择模型
4
作者 乔少杰 刘晨旭 +5 位作者 韩楠 徐康镭 蒋宇河 元昌安 吴涛 袁冠 《自动化学报》 北大核心 2025年第2期457-474,共18页
现有的索引选择方法存在诸多局限性.首先,大多数方法考虑场景较为单一,不能针对特定数据模态选择合适的索引结构,进而无法有效应对海量多模态数据;其次,现有方法未考虑索引选择时索引构建的代价,无法有效应对动态的工作负载.针对上述问... 现有的索引选择方法存在诸多局限性.首先,大多数方法考虑场景较为单一,不能针对特定数据模态选择合适的索引结构,进而无法有效应对海量多模态数据;其次,现有方法未考虑索引选择时索引构建的代价,无法有效应对动态的工作负载.针对上述问题,提出一种面向多模态数据的智能高效索引选择模型APE-X DQN(Distributed prioritized experience replay in deep Q-network),称为AP-IS(APE-X DQN for index selection).AP-IS设计了新型索引集编码和SQL语句编码方法,该方法使AP-IS在感知多模态数据的同时兼顾索引结构本身的特性,极大地降低了索引的存储代价.APIS集成新型索引效益评估方法,在优化强化学习奖励机制的同时,监控数据库工作负载的执行状态,保证动态工作负载下AP-IS在时间和空间上的优化效果.在真实多模态数据集上进行大量实验,验证了AP-IS在工作负载的延迟、存储代价和训练效率等方面的性能,结果均明显优于最新索引选择方法. 展开更多
关键词 智能数据 模态数据 索引选择 强化学习 执行计划
在线阅读 下载PDF
基于多模态数据对比学习的重度抑郁症表征学习方法
5
作者 顾恒 马迪 +2 位作者 马越 邵伟 张礼 《陕西师范大学学报(自然科学版)》 北大核心 2025年第1期12-21,共10页
影像基因组学认为神经影像与基因之间存在着一定程度的相关性,利用遗传变异与影像数据进行疾病分析愈发受研究人员重视。在实践中,临床医生拥有的数据规模往往较小,但仍然希望使用深度学习来解决现实问题。考虑到不断扩大的数据规模与... 影像基因组学认为神经影像与基因之间存在着一定程度的相关性,利用遗传变异与影像数据进行疾病分析愈发受研究人员重视。在实践中,临床医生拥有的数据规模往往较小,但仍然希望使用深度学习来解决现实问题。考虑到不断扩大的数据规模与昂贵的标注成本,构建能够利用多模态数据的无监督学习方法十分必要。为了满足上述需求,提出了一种基于影像与基因多模态表格数据对比学习的表征学习方法(multimodal tabular data with contrastive learning,MTCL),该模型利用了静息态功能磁共振成像(rs-fMRI)和单核苷酸多态性(single nucleotide polymorphisms,SNP)数据,无需数据的任何标签信息。为了增强可解释性,模型先通过特征提取模块将rs-fMRI和SNP数据转换为表格类型结构,再通过多模态表格数据对比学习模块对多模态数据进行融合,并获得融合后的数据表征。在重度抑郁症(major depression disorder,MDD)数据上,文中提出的方法能够有效提升MDD诊断性能。此外,MTCL方法结合了模型归因方法挖掘与MDD相关的影像和遗传生物标记物,提高了模型的可解释性,有助于研究人员对疾病发病机制的理解。 展开更多
关键词 对比学习 模态数据 模型归因 重度抑郁症 诊断模型
在线阅读 下载PDF
阿尔茨海默病辅助诊断的多模态数据融合轻量级网络
6
作者 王光明 柏正尧 +1 位作者 宋帅 徐月娥 《浙江大学学报(工学版)》 北大核心 2025年第1期39-48,共10页
单模态阿尔茨海默病辅助诊断方法缺少专业标注的影像数据,特征提取不稳定且要求高计算能力,为此融合核磁成像、正电子发射断层扫描影像数据和精神认知评分数据,提出多模态轻量级阿尔茨海默病辅助诊断网络(LightMoDAD).在影像特征提取模... 单模态阿尔茨海默病辅助诊断方法缺少专业标注的影像数据,特征提取不稳定且要求高计算能力,为此融合核磁成像、正电子发射断层扫描影像数据和精神认知评分数据,提出多模态轻量级阿尔茨海默病辅助诊断网络(LightMoDAD).在影像特征提取模块中,去冗余卷积以提取局部特征,引入全局滤波用于提取全局特征,通过配准并相加实现多模态影像特征融合.在文本特征提取模块中,由可分离深度卷积提取精神认知评分数据特征与多模态影像特征融合,通过迁移学习增强特征判别性.采用多层感知器识别复杂的模式和特征,提高所提网络的分类准确率.在ADNI数据库中开展有效性验证实验,LightMoDAD的分类准确率、敏感性和特异性分别为0.980、0.985和0.975.实验结果表明,所提网络有助于提高医生诊断效率,具有移动端部署潜力. 展开更多
关键词 阿尔茨海默病 模态数据 轻量级网络 融合算法 迁移学习
在线阅读 下载PDF
基于多模态数据的注意特征融合姿态估计网络
7
作者 赵云涛 邓新辉 《液晶与显示》 北大核心 2025年第4期598-606,共9页
兼顾准确性与适用性的6D姿态估计一直是研究热点和难点。本文提出了一种基于多模态数据的注意特征融合的6D姿态估计网络。首先,引入了更深层次的挤压激励模块结构,通过调整各通道的权重来增强依赖性扩大感受野,提升处理RGB图像特征的效... 兼顾准确性与适用性的6D姿态估计一直是研究热点和难点。本文提出了一种基于多模态数据的注意特征融合的6D姿态估计网络。首先,引入了更深层次的挤压激励模块结构,通过调整各通道的权重来增强依赖性扩大感受野,提升处理RGB图像特征的效果。进一步,针对多模态数据,在特征融合阶段部署迭代注意特征融合模块,通过多次迭代融合操作解决全局特征融合中的尺度不一致问题,能够更准确地捕捉和整合多模态数据,显著改善了姿态回归的效果。最后,为了量化评估模型在复杂环境下的鲁棒性和适用性,引入了不可见百分比指标,该指标能够评估模型在处理部分遮挡或复杂背景时的性能。通过在公开数据集上的姿态预测实验,验证了改进后模型不仅能够在验证数据集上实现了准确的预测姿态,而且相较于Densefusion模型,本文提出的算法模型在复杂环境下更具适用性。 展开更多
关键词 6D姿态估计 模态数据 注意特征融合 不可见百分比
在线阅读 下载PDF
不完整模态数据下基于布谷鸟算法的结构损伤识别研究
8
作者 郑昱 马青云 +1 位作者 邢云霞 李萌 《山西建筑》 2025年第1期70-74,共5页
鉴于安装在结构上的少量传感器难以获得完整的模态数据,文章提出一种使用不完整模态数据来定位和量化结构损伤的有效方法。首先,采用一种改进的缩聚系统方法来匹配有限元模型和实际测量中的自由度差异,从而解决模态空间不完整性问题。然... 鉴于安装在结构上的少量传感器难以获得完整的模态数据,文章提出一种使用不完整模态数据来定位和量化结构损伤的有效方法。首先,采用一种改进的缩聚系统方法来匹配有限元模型和实际测量中的自由度差异,从而解决模态空间不完整性问题。然后,利用不完整模态数据获得的结构柔度矩阵计算结构的静态位移。最后,利用结构的静态位移建立损伤优化函数,并采用布谷鸟算法进行求解。通过数值模拟和试验验证了所提方法的有效性和鲁棒性。数值和试验结果表明,在测量传感器数量有限的情况下,所提出的损伤识别方法仍具有高效且稳定的性能。 展开更多
关键词 损伤识别 不完整模态数据 柔度矩阵 布谷鸟算法
在线阅读 下载PDF
基于循环神经网络的多模态数据层次化缓存系统设计
9
作者 张燕 《现代电子技术》 北大核心 2025年第4期52-56,共5页
为提升对多模态数据的管理效果,提高数据访问速度并减轻数据库负载,设计一种基于循环神经网络的多模态数据层次化缓存系统。在DRAM/NVM混合内存模块中,利用DRAM完成主存NVM的缓存。当DRAM存在缓存缺失时,利用访问监控模块内置高速采集... 为提升对多模态数据的管理效果,提高数据访问速度并减轻数据库负载,设计一种基于循环神经网络的多模态数据层次化缓存系统。在DRAM/NVM混合内存模块中,利用DRAM完成主存NVM的缓存。当DRAM存在缓存缺失时,利用访问监控模块内置高速采集卡来采集NVM上频繁访问4 KB数据块的历史访问记录,再将历史访问记录编码为访问向量后构建训练集,作为长短期记忆(LSTM)网络的输入,用于预测访问频率。在缓存过滤模块中,将访问频率预测结果高于设定阈值部分的4 KB多模态数据读取到DRAM中进行缓存。实验结果显示:所设计系统可最大程度地降低系统带宽占用情况,TLB缺失率低,缓存执行效率较高,面对大页面具备显著缓存优势。 展开更多
关键词 模态数据 层次化缓存 循环神经网络 长短期记忆(LSTM)网络 DRAM NVM 访问频率
在线阅读 下载PDF
基于多模态数据的交互体验影响分析
10
作者 张蕊 张丽红 《长江信息通信》 2025年第1期210-212,共3页
随着人机交互技术的不断进步,为生活带来了便利,人们能够更加自然、方便地与计算机或其他智能设备进行交互。多模态数据交互的信息提取分为信息提取、信息融合、信息同步这三大部分,而多模态数据的融合也包含很多算法,其应用于生活的各... 随着人机交互技术的不断进步,为生活带来了便利,人们能够更加自然、方便地与计算机或其他智能设备进行交互。多模态数据交互的信息提取分为信息提取、信息融合、信息同步这三大部分,而多模态数据的融合也包含很多算法,其应用于生活的各个方面,应用范围极广,多模态数据交互的出现同时也提高了客户服务满意度,其发展前景空间更不容小觑,但在未来同时也面临着新的挑战。多模态数据交互是最近几年兴起的一项重要前沿技术,不仅进一步拉近了用户与计算机之间的关系,而且使得用户与计算机之间的交流越来越丰富、自然和高效,从而提高了移动行业的客户服务满意度。 展开更多
关键词 模态数据 客户服务满意度 行为识别 模态融合
在线阅读 下载PDF
基于音视频多模态数据感知的智能巡检系统设计与应用
11
作者 李阳 丘建培 宋坤 《现代信息科技》 2025年第3期189-193,共5页
为弥补巡检机器人和无人机在新能源发电企业中巡检范围有限的不足,文章设计了面向新能源发电领域的音视频融合智能巡检系统。在场站感知侧,综合应用各类摄像机、音频传感器等感知设备采集风电机组、线路、光伏、升压站各区域的音视频多... 为弥补巡检机器人和无人机在新能源发电企业中巡检范围有限的不足,文章设计了面向新能源发电领域的音视频融合智能巡检系统。在场站感知侧,综合应用各类摄像机、音频传感器等感知设备采集风电机组、线路、光伏、升压站各区域的音视频多模态数据。经过基于深度学习的智能算法分析,数据被转化为设备状态识别结果。在区域中心应用侧,部署智能巡检应用服务,展示场站侧设备状态识别结果,并构建巡检任务管理、告警管理等智能巡检业务功能,便于设备运维人员操作。文章所提出的音视频融合的感知方案,以及YOLO、ResNet、DeepLab等算法框架的集成应用,扩大了新能源场站智能巡检点位的覆盖范围,减少了运维人员前往现场的频次,有助于推动新能源无人场站的运维管理模式落地。 展开更多
关键词 智能巡检 边缘计算 感知设备 模态数据 深度学习
在线阅读 下载PDF
多模态数据融合驱动的PLC隐性故障时空关联诊断方法
12
作者 周汝涛 《中文科技期刊数据库(全文版)工程技术》 2025年第4期047-050,共4页
可编程逻辑控制器(PLC)广泛应用于工业自动化领域,其隐性故障因表现不明显且难以通过传统方法检测,严重影响系统的安全性和稳定性。针对这一问题,本文分析了PLC隐性故障的特征及其与多模态数据的关联性,设计了多模态数据采集与预处理方... 可编程逻辑控制器(PLC)广泛应用于工业自动化领域,其隐性故障因表现不明显且难以通过传统方法检测,严重影响系统的安全性和稳定性。针对这一问题,本文分析了PLC隐性故障的特征及其与多模态数据的关联性,设计了多模态数据采集与预处理方案,以确保数据的完整性和同步性。通过研究多模态数据融合方法,构建了基于时空关联的隐性故障诊断模型,利用深度学习和时序分析技术提取关键故障模式,实现PLC隐性故障的精准诊断,以期为工业自动化设备的智能运维提供技术参考。 展开更多
关键词 模态数据融合 PLC隐性故障 时空关联分析 深度学习 智能诊断
在线阅读 下载PDF
基于多模态数据融合的城建档案智能审核系统研究
13
作者 梁留兰 《丝路视野》 2025年第4期0037-0039,共3页
随着城市建设项目的日益复杂,传统城建档案管理方式面临效率低和准确性不足的挑战。为解决这些问题,本文设计了一个基于多模态数据融合的城建档案智能审核系统。该系统通过整合文本、图像、音频等多种类型的数据,并利用先进的数据预处... 随着城市建设项目的日益复杂,传统城建档案管理方式面临效率低和准确性不足的挑战。为解决这些问题,本文设计了一个基于多模态数据融合的城建档案智能审核系统。该系统通过整合文本、图像、音频等多种类型的数据,并利用先进的数据预处理、特征提取与表示技术,实现了对城建档案的高效自动化审核。研究表明,基于多模态数据融合的智能审核系统能够显著提升城建档案管理的效率和准确性,简化复杂的审核流程,提高审核结果的可靠性。 展开更多
关键词 模态数据融合 城建档案管理 智能审核系统 特征提取
在线阅读 下载PDF
基于多模态元数据的情报侦查研究
14
作者 薛亚龙 陈小龙 马帅 《中国人民警察大学学报》 2025年第2期25-33,共9页
随着新型网络数据犯罪情势中多模态元数据呈指数级迅猛增长,导致数据情报侦查中往往存在数据片段分布结构复杂、冗余性离群数据挖掘难、情报关联规则正向同配属性弱等突出问题。鉴于此,引入基于多模态元数据的情报侦查研究范式,以多模... 随着新型网络数据犯罪情势中多模态元数据呈指数级迅猛增长,导致数据情报侦查中往往存在数据片段分布结构复杂、冗余性离群数据挖掘难、情报关联规则正向同配属性弱等突出问题。鉴于此,引入基于多模态元数据的情报侦查研究范式,以多模态元数据情报侦查的发展契机为逻辑论证,提出多模态元数据情报侦查平台设计,构建多模态元数据情报侦查流程模型,探讨多模态元数据情报侦查应用。这不仅能够消除多模态元数据分布式存储的“数据孤岛”弊端,强化不同多模态元数据情报之间的转换融合,而且还能够高效整合多模态元数据情报的聚类集成,提升情报侦查效能的收敛鲁棒性,增强多模态元数据与数据犯罪情势之间关联规则构建的精确性,从而形成多模态元数据情报侦查的新质生产力。 展开更多
关键词 模态数据 数据犯罪情势 数据情报侦查
在线阅读 下载PDF
多模态审计数据智能融合探究
15
作者 罗利 郭雅丽 《新会计》 2025年第1期67-72,共6页
随着信息技术的发展,审计数据呈现异构性、丰富性等特征。如何有效整合分析这些多模态数据,成为审计领域亟待解决的问题。多模态审计数据智能融合分析可以整合不同形式和来源的审计数据,运用人工智能技术进行智能化分析,提升审计效率和... 随着信息技术的发展,审计数据呈现异构性、丰富性等特征。如何有效整合分析这些多模态数据,成为审计领域亟待解决的问题。多模态审计数据智能融合分析可以整合不同形式和来源的审计数据,运用人工智能技术进行智能化分析,提升审计效率和准确性。本文旨在探讨多模态审计数据智能融合分析的特点、方法和应用前景,以期为审计领域的智能化发展提供参考。 展开更多
关键词 模态审计数据 智能融合分析 人工智能
在线阅读 下载PDF
面向云边端协同的多模态数据建模技术及其应用 被引量:2
16
作者 崔双双 吴限 +1 位作者 王宏志 吴昊 《软件学报》 EI CSCD 北大核心 2024年第3期1154-1172,共19页
云边端协同架构中数据类型多样,各级存储资源与计算资源存在差异,给数据管理带来新的挑战.现有数据模型或者数据模型的简单叠加,都难以同时满足云边端中多模态数据管理和协同管理需求.因此,研究面向云边端协同的多模态数据建模技术成为... 云边端协同架构中数据类型多样,各级存储资源与计算资源存在差异,给数据管理带来新的挑战.现有数据模型或者数据模型的简单叠加,都难以同时满足云边端中多模态数据管理和协同管理需求.因此,研究面向云边端协同的多模态数据建模技术成为重要问题.其核心在于,如何高效地从云边端三层架构中得到满足应用所需的查询结果.从云边端三层数据的数据类型出发,提出了面向云边端协同的多模态数据建模技术,给出了基于元组的多模态数据模型定义,设计了6种基类,解决多模态数据统一表征困难的问题;提出了云边端协同查询的基本数据操作体系,以满足云边端业务场景的查询需求;给出了多模态数据模型的完整性约束,为查询优化奠定了理论基础.最后,给出了面向云边端协同多模态数据模型的示范应用,并从数据存储时间、存储空间和查询时间这3个方面对所提出的数据模型存储方法进行了验证.实验结果表明,所提方案能够有效地表示云边端协同架构中的多模态数据. 展开更多
关键词 模态数据模型 云边端协同 查询处理
在线阅读 下载PDF
面向多模态数据的新型数据库技术专题前言 被引量:4
17
作者 彭智勇 高云君 +1 位作者 李国良 许建秋 《软件学报》 EI CSCD 北大核心 2024年第3期1049-1050,共2页
以数字技术为标志的新一轮科技革命方兴未艾,将人类带入数字经济时代.全球各行各业数据量呈现爆炸式增长,数据类型和数据格式也呈现多种形式,例如结构化关系表、半结构化JSON/XML、非结构化文本/图像/视频,以及图数据、流数据和时序数据... 以数字技术为标志的新一轮科技革命方兴未艾,将人类带入数字经济时代.全球各行各业数据量呈现爆炸式增长,数据类型和数据格式也呈现多种形式,例如结构化关系表、半结构化JSON/XML、非结构化文本/图像/视频,以及图数据、流数据和时序数据等.这要求数据库系统能够同时高效地管理多种不同类型的数据.多模态数据管理与分析成为亟需解决的问题.目前的方法主要通过拓展现有的数据库或通过集成各种不同模态数据管理引擎来支持多模态数据管理与分析,缺少新颖的理论、方法与技术的支撑.本专题围绕多模态数据管理与分析的整个生命周期,通过结合大数据技术和人工智能方法探讨新型数据库系统理论、方法和技术,包括多模态数据统一建模、存储与索引、查询与挖掘、并发控制、多模态数据库系统构建及其典型应用等主题,赋予数据库系统新的管理能力,形成多模态数据管理与分析在各行各业的最新应用成果. 展开更多
关键词 数据库系统 模态数据 数据库技术 人工智能方法 并发控制 数据技术 数据类型 统一建模
在线阅读 下载PDF
基于多模态数据的在线学习认知负荷评估 被引量:5
18
作者 薛耀锋 王坤 +1 位作者 邱奕盛 朱芳清 《现代教育技术》 CSSCI 2024年第3期79-88,共10页
近年来,认知负荷过载成为影响在线学习效果的一个重要因素。为解决此问题,文章聚焦在线学习认知负荷评估,首先设计了基于多模态数据的在线学习认知负荷评估研究框架,包含多模态数据采集、多模态特征提取和评估模型构建三个部分。接着,... 近年来,认知负荷过载成为影响在线学习效果的一个重要因素。为解决此问题,文章聚焦在线学习认知负荷评估,首先设计了基于多模态数据的在线学习认知负荷评估研究框架,包含多模态数据采集、多模态特征提取和评估模型构建三个部分。接着,文章通过实验,采集学习者在特定在线学习环境下的多模态数据,提取人脸表情特征、眼动追踪指标特征和脑电信号特征,构建在线学习认知负荷评估模型。之后,文章对评估模型的准确性进行验证,发现在五种机器学习算法模型中,KNN模型的综合性能最佳,故将此模型作为最终的在线学习认知评估模型;同时,文章对多模态数据进行了分析,发现多模态融合方法在认知负荷评估上具有优越性。文章构建的评估模型可赋能在线学习平台实现认知负荷的实时评估,进而实现基于认知负荷的个性化学习,增强学习动机,提升学习效果,促进在线教育质量提升。 展开更多
关键词 模态数据 在线学习 认知负荷 人脸表情 眼动追踪 脑电信号
在线阅读 下载PDF
多模态数据融合的加工作业动态手势识别方法 被引量:1
19
作者 张富强 曾夏 +1 位作者 白筠妍 丁凯 《郑州大学学报(工学版)》 CAS 北大核心 2024年第5期30-36,共7页
为了解决单模态数据所提供的特征信息缺乏而导致的识别准确率难以提高、模型鲁棒性较低等问题,提出了面向人机交互的加工作业多模态数据融合动态手势识别策略。首先,采用C3D网络模型并在视频的空间维度和时间维度对深度图像和彩色图像... 为了解决单模态数据所提供的特征信息缺乏而导致的识别准确率难以提高、模型鲁棒性较低等问题,提出了面向人机交互的加工作业多模态数据融合动态手势识别策略。首先,采用C3D网络模型并在视频的空间维度和时间维度对深度图像和彩色图像两种模态数据进行特征提取;其次,将两种模态数据识别结果在决策层按最大值规则进行融合,同时,将原模型使用的Relu激活函数替换为Mish激活函数优化梯度特性;最后,通过3组对比实验得到6种动态手势的平均识别准确率为96.8%。结果表明:所提方法实现了加工作业中动态手势识别的高准确率和高鲁棒性的目标,对人机交互技术在实际生产场景中的应用起到推动作用。 展开更多
关键词 模态数据融合 加工作业 动态手势识别 C3D Mish激活函数 人机交互
在线阅读 下载PDF
上一页 1 2 24 下一页 到第
使用帮助 返回顶部