期刊文献+
共找到27篇文章
< 1 2 >
每页显示 20 50 100
利用BERT和覆盖率机制改进的HiNT文本检索模型
1
作者 邸剑 刘骏华 曹锦纲 《智能系统学报》 CSCD 北大核心 2024年第3期719-727,共9页
为有效提升文本语义检索的准确度,本文针对当前文本检索模型衡量查询和文档的相关性时不能很好地解决文本歧义和一词多义等问题,提出一种基于改进的分层神经匹配模型(hierarchical neural matching model,HiNT)。该模型先对文档的各个... 为有效提升文本语义检索的准确度,本文针对当前文本检索模型衡量查询和文档的相关性时不能很好地解决文本歧义和一词多义等问题,提出一种基于改进的分层神经匹配模型(hierarchical neural matching model,HiNT)。该模型先对文档的各个段提取关键主题词,然后用基于变换器的双向编码器(bidirectional encoder representations from transformers,BERT)模型将其编码为多个稠密的语义向量,再利用引入覆盖率机制的局部匹配层进行处理,使模型可以根据文档的局部段级别粒度和全局文档级别粒度进行相关性计算,提高检索的准确率。本文提出的模型在MS MARCO和webtext2019zh数据集上与多个检索模型进行对比,取得了最优结果,验证了本文提出模型的有效性。 展开更多
关键词 基于变换器的双向编码器 分层神经匹配模型 覆盖率机制 文本检索 语义表示 特征提取 自然语言处理 相似度 多粒度
在线阅读 下载PDF
BTM-BERT模型在民航机务维修安全隐患自动分类中的应用
2
作者 陈芳 张亚博 《安全与环境学报》 CAS CSCD 北大核心 2024年第11期4366-4373,共8页
为界定民航机务维修安全隐患类别,实现安全隐患数据的自动分类,首先,利用构建的机务维修停用词库对安全隐患记录语料进行预处理。其次,运用词对主题模型(Biterm Topic Model,BTM)提取主题和关键词,确定了“员工未按规定对工作现场进行... 为界定民航机务维修安全隐患类别,实现安全隐患数据的自动分类,首先,利用构建的机务维修停用词库对安全隐患记录语料进行预处理。其次,运用词对主题模型(Biterm Topic Model,BTM)提取主题和关键词,确定了“员工未按规定对工作现场进行监管”等12类安全隐患。最后,根据BTM主题模型标注的数据集对算法进行微调,构建了基于变换器的双向编码(Bidirectional Encoder Representations from Transformers,BERT)算法的机务维修安全隐患记录自动分类模型,并与传统的分类算法进行对比。结果表明:所构建的模型可以实现民航机务维修安全隐患自动分类,其效果远高于传统机器学习支持向量机算法的效果,构建的分类模型的精确率、召回率和F 1较文本卷积神经网络算法分别提升了0.12、0.14和0.14,总体准确率达到了93%。 展开更多
关键词 安全工程 机务维修 词对主题模型(BTM) 基于变换器的双向编码(bert) 安全隐患 文本分类
在线阅读 下载PDF
ALBERT预训练模型在医疗文书命名实体识别中的应用研究
3
作者 庞秋奔 李银 《信息与电脑》 2024年第6期152-156,共5页
中文电子病历命名实体识别主要是研究电子病历病程记录文书数据集,文章提出对医疗手术麻醉文书数据集进行命名实体识别的研究。利用轻量级来自Transformer的双向编码器表示(A Lite Bidirectional Encoder Representation from Transform... 中文电子病历命名实体识别主要是研究电子病历病程记录文书数据集,文章提出对医疗手术麻醉文书数据集进行命名实体识别的研究。利用轻量级来自Transformer的双向编码器表示(A Lite Bidirectional Encoder Representation from Transformers,ALBERT)预训练模型微调数据集和Tranfomers中的trainer训练器训练模型的方法,实现在医疗手术麻醉文书上识别手术麻醉事件命名实体与获取复杂麻醉医疗质量控制指标值。文章为医疗手术麻醉文书命名实体识别提供了可借鉴的思路,并且为计算复杂麻醉医疗质量控制指标值提供了一种新的解决方案。 展开更多
关键词 命名实体识别 轻量级来自Transformer的双向编码器表示(ALbert)模型 TRANSFORMERS 麻醉医疗质量控制指标 医疗手术麻醉文书
在线阅读 下载PDF
基于MacBERT与对抗训练的机器阅读理解模型
4
作者 周昭辰 方清茂 +2 位作者 吴晓红 胡平 何小海 《计算机工程》 CAS CSCD 北大核心 2024年第5期41-50,共10页
机器阅读理解旨在让机器像人类一样理解自然语言文本,并据此进行问答任务。近年来,随着深度学习和大规模数据集的发展,机器阅读理解引起了广泛关注,但是在实际应用中输入的问题通常包含各种噪声和干扰,这些噪声和干扰会影响模型的预测... 机器阅读理解旨在让机器像人类一样理解自然语言文本,并据此进行问答任务。近年来,随着深度学习和大规模数据集的发展,机器阅读理解引起了广泛关注,但是在实际应用中输入的问题通常包含各种噪声和干扰,这些噪声和干扰会影响模型的预测结果。为了提高模型的泛化能力和鲁棒性,提出一种基于掩码校正的来自Transformer的双向编码器表示(Mac BERT)与对抗训练(AT)的机器阅读理解模型。首先利用Mac BERT对输入的问题和文本进行词嵌入转化为向量表示;然后根据原始样本反向传播的梯度变化在原始词向量上添加微小扰动生成对抗样本;最后将原始样本和对抗样本输入双向长短期记忆(Bi LSTM)网络进一步提取文本的上下文特征,输出预测答案。实验结果表明,该模型在简体中文数据集CMRC2018上的F1值和精准匹配(EM)值分别较基线模型提高了1.39和3.85个百分点,在繁体中文数据集DRCD上的F1值和EM值分别较基线模型提高了1.22和1.71个百分点,在英文数据集SQu ADv1.1上的F1值和EM值分别较基线模型提高了2.86和1.85个百分点,优于已有的大部分机器阅读理解模型,并且在真实问答结果上与基线模型进行对比,结果验证了该模型具有更强的鲁棒性和泛化能力,在输入的问题存在噪声的情况下性能更好。 展开更多
关键词 机器阅读理解 对抗训练 预训练模型 掩码校正的来自Transformer的双向编码器表示 双向长短期记忆网络
在线阅读 下载PDF
基于BERT的多模型融合的Web攻击检测方法
5
作者 袁平宇 邱林 《计算机工程》 CAS CSCD 北大核心 2024年第11期197-206,共10页
传统Web攻击检测方法准确率不高,不能有效防范Web攻击。针对该问题,提出一种基于变换器的双向编码器表示(BERT)的预训练模型、文本卷积神经网络(TextCNN)和双向长短期记忆网络(BiLSTM)多模型融合的Web攻击检测方法。先将HTTP请求进行预... 传统Web攻击检测方法准确率不高,不能有效防范Web攻击。针对该问题,提出一种基于变换器的双向编码器表示(BERT)的预训练模型、文本卷积神经网络(TextCNN)和双向长短期记忆网络(BiLSTM)多模型融合的Web攻击检测方法。先将HTTP请求进行预处理,再通过BERT进行训练得到具备上下文依赖的特征向量,并用TextCNN模型进一步提取其中的高阶语义特征,作为BiLSTM的输入,最后利用Softmax函数进行分类检测。在HTTP CSIC 2010和恶意URL检测两个数据集上对所提方法进行验证,结果表明,与支持向量机(SVM)、逻辑回归(LR)等传统的机器学习方法和现有较新的方法相比,基于BERT的多模型融合的Web攻击检测方法在准确率、精确率、召回率和F1值指标上均表现更优(准确率和F1值的最优值都在99%以上),能准确检测Web攻击。 展开更多
关键词 Web攻击检测 基于变换器的双向编码器表示 模型融合 HTTP请求 文本卷积神经网络 双向长短期记忆网络
在线阅读 下载PDF
基于BERT模型的中文短文本分类算法 被引量:86
6
作者 段丹丹 唐加山 +1 位作者 温勇 袁克海 《计算机工程》 CAS CSCD 北大核心 2021年第1期79-86,共8页
针对现有中文短文本分类算法通常存在特征稀疏、用词不规范和数据海量等问题,提出一种基于Transformer的双向编码器表示(BERT)的中文短文本分类算法,使用BERT预训练语言模型对短文本进行句子层面的特征向量表示,并将获得的特征向量输入S... 针对现有中文短文本分类算法通常存在特征稀疏、用词不规范和数据海量等问题,提出一种基于Transformer的双向编码器表示(BERT)的中文短文本分类算法,使用BERT预训练语言模型对短文本进行句子层面的特征向量表示,并将获得的特征向量输入Softmax回归模型进行训练与分类。实验结果表明,随着搜狐新闻文本数据量的增加,该算法在测试集上的整体F1值最高达到93%,相比基于TextCNN模型的短文本分类算法提升6个百分点,说明其能有效表示句子层面的语义信息,具有更好的中文短文本分类效果。 展开更多
关键词 中文短文本分类 基于Transformer的双向编码器表示 Softmax回归模型 TextCNN模型 word2vec模型
在线阅读 下载PDF
基于BERT-BiGRU模型的文本分类研究 被引量:12
7
作者 王紫音 于青 《天津理工大学学报》 2021年第4期40-46,共7页
文本分类是自然语言处理的典型应用,目前文本分类最常用的是深度学习的分类方法。针对中文文本数据具有多种特性,例如隐喻表达、语义多义性、语法特异性等,在文本分类中进行研究。提出基于编码器-解码器的双向编码表示法-双向门控制循... 文本分类是自然语言处理的典型应用,目前文本分类最常用的是深度学习的分类方法。针对中文文本数据具有多种特性,例如隐喻表达、语义多义性、语法特异性等,在文本分类中进行研究。提出基于编码器-解码器的双向编码表示法-双向门控制循环单元(bidirectional encoder representations from transformers-bidirectional gate recurrent unit,BERT-BiGRU)模型结构,使用BERT模型代替传统的Word2vec模型表示词向量,根据上下文信息计算字的表示,在融合上下文信息的同时还能根据字的多义性进行调整,增强了字的语义表示。在BERT模型后面增加了BiGRU,将训练后的词向量作为Bi GRU的输入进行训练,该模型可以同时从两个方向对文本信息进行特征提取,使模型具有更好的文本表示信息能力,达到更精确的文本分类效果。使用提出的BERT-BiGRU模型进行文本分类,最终准确率达到0.93,召回率达到0.94,综合评价数值F1达到0.93。通过与其他模型的试验结果对比,发现BERT-BiGRU模型在中文文本分类任务中有良好的性能。 展开更多
关键词 文本分类 深度学习 基于编码器-解码器的双向编码表示法(bidirectional encoder representations from transformers bert)模型 双向门控制循环单元(bidirectional gate recurrent unit BiGRU)
在线阅读 下载PDF
融合BERT的多层次语义协同模型情感分析研究 被引量:16
8
作者 胡任远 刘建华 +2 位作者 卜冠南 张冬阳 罗逸轩 《计算机工程与应用》 CSCD 北大核心 2021年第13期176-184,共9页
由于基于变换器的双向编码器表征技术(Bidirectional Encoder Representations from Transformers,BERT)的提出,改变了传统神经网络解决句子级文本情感分析问题的方法。目前的深度学习模型BERT本身学习模式为无监督学习,其需要依赖后续... 由于基于变换器的双向编码器表征技术(Bidirectional Encoder Representations from Transformers,BERT)的提出,改变了传统神经网络解决句子级文本情感分析问题的方法。目前的深度学习模型BERT本身学习模式为无监督学习,其需要依赖后续任务补全推理和决策环节,故存在缺乏目标领域知识的问题。提出一种多层协同卷积神经网络模型(Multi-level Convolutional Neural Network,MCNN),该模型能学习到不同层次的情感特征来补充领域知识,并且使用BERT预训练模型提供词向量,通过BERT学习能力的动态调整将句子真实的情感倾向嵌入模型,最后将不同层次模型输出的特征信息同双向长短期记忆网络输出信息进行特征融合后计算出最终的文本情感性向。实验结果表明即使在不同语种的语料中,该模型对比传统神经网络和近期提出的基于BERT深度学习的模型,情感极性分类的能力有明显提升。 展开更多
关键词 深度学习 文本情感分析 基于变换器的双向编码器表征技术(bert) 卷积神经网络(CNN) 协同结构
在线阅读 下载PDF
基于BERT模型的检验检测领域命名实体识别
9
作者 苏展鹏 李洋 +4 位作者 张婷婷 让冉 张龙波 蔡红珍 邢林林 《高技术通讯》 CAS 2022年第7期749-755,共7页
针对检验检测领域存在的实体语料匮乏、实体嵌套严重、实体类型冗杂繁多等问题,提出了一种结合双向编码器表示法(BERT)预处理语言模型、双向门控循环单元(BIGRU)双向轻编码模型和随机条件场(CRF)的命名实体识别方法。BERT-BIGRU-CRF(BGC... 针对检验检测领域存在的实体语料匮乏、实体嵌套严重、实体类型冗杂繁多等问题,提出了一种结合双向编码器表示法(BERT)预处理语言模型、双向门控循环单元(BIGRU)双向轻编码模型和随机条件场(CRF)的命名实体识别方法。BERT-BIGRU-CRF(BGC)模型首先利用BERT预处理模型结合上下文语义训练词向量;然后经过BIGRU层双向编码;最后在CRF层计算后输出最优结果。利用含有检测组织、检测项目、检测标准和检测仪器4种命名实体的检验检测领域数据集来训练模型,结果表明BGC模型的准确率、召回率和F1值都优于不加入BERT的对比模型。同时对比BERT-BILSTM-CRF模型,BGC模型在训练时间上缩短了6%。 展开更多
关键词 命名实体识别 双向编码器表示法(bert) 检验检测领域 深度学习 双向门控循环单元(BIGRU)
在线阅读 下载PDF
基于BERT模型的智能数据分析技术
10
作者 程钰海 《信息与电脑》 2022年第24期167-170,共4页
面对日趋增长的数据分析需求,以人工编写SQL方式进行数据分析已无法满足要求,而基于自然语言交互界面的数据分析已成为发展趋势。文章提出了一种基于来自变换器的双向编码器表征量(Bidirectional Encoder Representations from Transfor... 面对日趋增长的数据分析需求,以人工编写SQL方式进行数据分析已无法满足要求,而基于自然语言交互界面的数据分析已成为发展趋势。文章提出了一种基于来自变换器的双向编码器表征量(Bidirectional Encoder Representations from Transformers,BERT)模型的智能数据分析技术,相对于Word2Vec/全局唯一标识分区表(Globally Unique Identifier Partition Table,GPT)等模型,大幅提升了自然语言到SQL转换的准确率,使自然语言交互式数据分析准确率超过人工编写SQL的方式。 展开更多
关键词 来自变换器的双向编码器表征量(bert) 自然语言处理(NLP) 智能数据分析
在线阅读 下载PDF
基于BERT-BiLSTM-CRF的隧道施工安全领域命名实体识别
11
作者 张念 周彩凤 +3 位作者 万飞 刘非 王耀耀 徐栋梁 《中国安全科学学报》 CSCD 北大核心 2024年第12期56-63,共8页
为解决隧道施工安全领域传统命名实体识别(NER)方法存在的实体边界模糊、小样本学习困难、特征信息提取不够全面准确等问题,提出一种基于变换器的双向编码器表征(BERT)-双向长短时记忆(BiLSTM)网络-条件随机场(CRF)模型的隧道施工事故... 为解决隧道施工安全领域传统命名实体识别(NER)方法存在的实体边界模糊、小样本学习困难、特征信息提取不够全面准确等问题,提出一种基于变换器的双向编码器表征(BERT)-双向长短时记忆(BiLSTM)网络-条件随机场(CRF)模型的隧道施工事故文本实体识别方法。首先,利用BERT模型将隧道施工事故文本编码得到蕴含语义特征的词向量;然后,将BERT模型训练后输出的词向量输入BiLSTM模型进一步获取隧道施工事故文本的上下文特征并进行标签概率预测;最后,利用CRF层的标注规则的约束,修正BiLSTM模型的输出结果,得到最大概率序列标注结果,从而实现对隧道施工事故文本标签的智能分类。将该模型与其他4种常用的传统NER模型在隧道施工安全事故语料数据集上进行对比试验,试验结果表明:BERT-BiLSTM-CRF模型的识别准确率、召回率和F 1值分别达到88%、89%和88%,实体识别效果优于其他基准模型。利用所建立的NER模型识别实际隧道施工事故文本中的实体,验证了其在隧道施工安全领域中的应用效果。 展开更多
关键词 变换器的双向编码器表征(bert) 双向长短时记忆(BiLSTM)网络 条件随机场(CRF) 隧道施工 安全领域 命名实体识别(NER) 深度学习
在线阅读 下载PDF
单词嵌入表示学习综述
12
作者 刘建伟 高悦 《控制理论与应用》 EI CAS CSCD 北大核心 2022年第7期1171-1193,共23页
单词嵌入表示学习是自然语言处理(NLP)中最基本但又很重要的研究内容,是所有后续高级语言处理任务的基础.早期的单词独热表示忽略了单词的语义信息,在应用中常常会遇到数据稀疏的问题,后来随着神经语言模型(NLM)的提出,单词被表示为低... 单词嵌入表示学习是自然语言处理(NLP)中最基本但又很重要的研究内容,是所有后续高级语言处理任务的基础.早期的单词独热表示忽略了单词的语义信息,在应用中常常会遇到数据稀疏的问题,后来随着神经语言模型(NLM)的提出,单词被表示为低维实向量,有效地解决了数据稀疏的问题.单词级的嵌入表示是最初的基于神经网络语言模型的输入表示形式,后来人们又从不同角度出发,提出了诸多变种.本文从模型涉及到的语种数的角度出发,将单词嵌入表示模型分为单语言单词嵌入表示模型和跨语言单词嵌入表示模型两大类.在单语言中,根据模型输入的颗粒度又将模型分为字符级、单词级、短语级及以上的单词嵌入表示模型,不同颗粒度级别的模型的应用场景不同,各有千秋.再将这些模型按照是否考虑上下文信息再次分类,单词嵌入表示还经常与其它场景的模型结合,引入其他模态或关联信息帮助学习单词嵌入表示,提高模型的表现性能,故本文也列举了一些单词嵌入表示模型和其它领域模型的联合应用.通过对上述模型进行研究,将每个模型的特点进行总结和比较,在文章最后给出了未来单词嵌入表示的研究方向和展望. 展开更多
关键词 单词嵌入表示学习 神经网络 语言模型 跨语言 双向编码器表示 信息瓶颈
在线阅读 下载PDF
面向上下文注意力联合学习网络的方面级情感分类模型 被引量:11
13
作者 杨玉亭 冯林 +1 位作者 代磊超 苏菡 《模式识别与人工智能》 EI CSCD 北大核心 2020年第8期753-765,共13页
针对现有的方面级情感分类模型存在感知方面词能力较弱、泛化能力较差等问题,文中提出面向上下文注意力联合学习网络的方面级情感分类模型(CAJLN).首先,利用双向Transformer的表征编码器(BERT)模型作为编码器,将文本句子预处理成句子、... 针对现有的方面级情感分类模型存在感知方面词能力较弱、泛化能力较差等问题,文中提出面向上下文注意力联合学习网络的方面级情感分类模型(CAJLN).首先,利用双向Transformer的表征编码器(BERT)模型作为编码器,将文本句子预处理成句子、句子对和方面词级输入序列,分别经过BERT单句和句子对分类模型,进行上下文、方面词级和句子对隐藏特征提取.再基于上下文和方面词级隐藏特征,建立上下文和方面词的多种注意力机制,获取方面特定的上下文感知表示.然后,对句子对隐藏特征和方面特定的上下文感知表示进行联合学习.采用Xavier正态分布对权重进行初始化,确保反向传播时参数持续更新,使CAJLN在训练过程中可以学习有用信息.在多个数据集上的仿真实验表明,CAJLN可有效提升短文本情感分类性能. 展开更多
关键词 方面级情感分类 双向Transformer的表征编码器(bert)模型 注意力机制 联合学习
在线阅读 下载PDF
面向工业生产的中文Text-to-SQL模型 被引量:2
14
作者 吕剑清 王先兵 +2 位作者 陈刚 张华 王明刚 《计算机应用》 CSCD 北大核心 2022年第10期2996-3002,共7页
英文自然语言查询转SQL语句(Text-to-SQL)任务的模型迁移到中文工业Text-to-SQL任务时,由于工业数据集的可解释差且比较分散,会出现数据库的表名列名等信息与问句中关键信息的表示形式不一致以及问句中的列名隐含在语义中等问题导致模... 英文自然语言查询转SQL语句(Text-to-SQL)任务的模型迁移到中文工业Text-to-SQL任务时,由于工业数据集的可解释差且比较分散,会出现数据库的表名列名等信息与问句中关键信息的表示形式不一致以及问句中的列名隐含在语义中等问题导致模型精确匹配率变低。针对迁移过程中出现的问题,提出了对应的解决方法并构建修改后的模型。首先,在数据使用过程中融入工厂元数据信息以解决表示形式不一致以及列名隐含在语义中的问题;然后,根据中文语言表达方式的特性,使用基于相对位置的自注意力模型直接通过问句以及数据库模式信息识别出where子句的value值;最后,根据工业问句查询内容的特性,使用微调后的基于变换器的双向编码器表示技术(BERT)对问句进行分类以提高模型对SQL语句结构预测的准确率。构建了一个基于铝冶炼行业的工业数据集,并在该数据集上进行实验验证。结果表明所提模型在工业测试集上的精确匹配率为74.2%,对比英文数据集Spider上各阶段主流模型的效果后可以看出,所提模型能有效处理中文工业Text-to-SQL任务。 展开更多
关键词 中文Text-to-SQL任务 工业数据集 元数据 自注意力模型 基于变换器的双向编码器表示技术
在线阅读 下载PDF
融合多种类型语法信息的属性级情感分析模型 被引量:2
15
作者 肖泽管 陈清亮 《计算机科学与探索》 CSCD 北大核心 2022年第2期395-402,共8页
属性级情感分析(ABSA)的目标是识别出句子中属性的情感倾向。现有的方法大多使用注意力机制隐性地建模属性与上下文中情感表达的关系,而忽略了使用语法信息。一方面,属性的情感倾向与句子中的情感表达有紧密的联系,利用句子的句法结构... 属性级情感分析(ABSA)的目标是识别出句子中属性的情感倾向。现有的方法大多使用注意力机制隐性地建模属性与上下文中情感表达的关系,而忽略了使用语法信息。一方面,属性的情感倾向与句子中的情感表达有紧密的联系,利用句子的句法结构可以更直接地对两者建模;另一方面,由于现有的基准数据集较小,模型无法充分学习通用语法知识,这使得它们难以处理复杂的句型和情感表达。针对以上问题,提出一种利用多种类型语法信息的神经网络模型。该模型采用基于依存句法树的图卷积神经网络(GCN),并利用句法结构信息直接匹配属性与其对应情感表达,缓解冗余信息对分类的干扰。同时,使用预训练模型BERT具有多种类型的语法信息的中间层表示作为指导信息,给予模型更多的语法知识。每一层GCN的输入结合上一层GCN的输出和BERT中间层指导信息。最后将属性在最后一层GCN的表示作为特征进行情感倾向分类。通过在SemEval 2014 Task4 Restaurant、Laptop和Twitter数据集上的实验结果表明,提出模型的分类效果超越了很多基准模型。 展开更多
关键词 属性级 情感分析 基于变换器的双向编码器表示技术(bert) 依存句法树 图卷积神经网络(GCN)
在线阅读 下载PDF
基于BERT-GCN-ResNet的文献摘要自动分类方法 被引量:1
16
作者 郭羽 林丽媛 刘玉良 《天津科技大学学报》 CAS 2022年第2期51-56,共6页
为了提升文献摘要自动分类性能,提高分类准确率,有效学习词与文档、文档与文档之间的关联性,本文提出一种基于BERT-GCN-ResNet的文献摘要分类方法.该方法采用转换器的双向编码器表示模型(bidirectional encoder representation from tra... 为了提升文献摘要自动分类性能,提高分类准确率,有效学习词与文档、文档与文档之间的关联性,本文提出一种基于BERT-GCN-ResNet的文献摘要分类方法.该方法采用转换器的双向编码器表示模型(bidirectional encoder representation from transformers,BERT)得到待分类短文本的词向量初始特征,进而构建边和节点特征;将其输入图卷积神经网络(graph convolutional networks,GCN),并在图卷积层之间加入残差网络(residual network,ResNet)模块;最后将利用图卷积层和残差网络层得到的短文本表示输出至softmax,得到最终的分类结果.将该方法在4种不同的公开文本分类数据集上进行实验,模型准确率最高达97.01%,优于基准模型.同时,在本文构建的基于短文本文献摘要的Abstext数据集上进行验证,分类准确率为96.85%,表明该模型泛化能力较好,能够提高文献自动分类的准确率. 展开更多
关键词 图卷积神经网络 转换器的双向编码器表示模型 残差网络 文献自动分类 预训练模型
在线阅读 下载PDF
基于BERT的施工安全事故文本命名实体识别方法 被引量:1
17
作者 孙文涵 王俊杰 《电视技术》 2023年第1期20-26,共7页
为解决传统施工安全管理中对事故报告信息分析效率低的问题,利用自然语言处理(Natural Language Processing,NLP)技术,提出基于双向编码器表示(Bidirectional Encoder Representations from Transformers,BERT)的施工安全事故文本命名... 为解决传统施工安全管理中对事故报告信息分析效率低的问题,利用自然语言处理(Natural Language Processing,NLP)技术,提出基于双向编码器表示(Bidirectional Encoder Representations from Transformers,BERT)的施工安全事故文本命名实体识别方法。以自建的施工安全事故领域实体标注语料数据集为研究对象,首先利用BERT预训练模型获取动态字向量,然后采用双向长短时记忆网络-注意力机制-条件随机场(BiLSTM-Attention-CRF)对前一层输出的语义编码进行序列标注和解码以获取最优文本标签序列。实验结果表明,该模型在自建数据集上的F1值分数为92.58%,较基准模型BiLSTM-CRF提升了4.19%;该方法对事故时间等5类实体识别F1值均可达到91%以上,验证了该方法对施工安全事故实体识别的有效性,说明模型可用于实际施工知识管理中并指导建筑安全管理的安全培训。 展开更多
关键词 双向编码器表示(bert) 施工安全管理 命名实体识别 知识图谱 知识管理
在线阅读 下载PDF
基于BERT的灾害三元组信息抽取优化研究 被引量:7
18
作者 宋敦江 杨霖 钟少波 《中国安全科学学报》 CAS CSCD 北大核心 2022年第2期115-120,共6页
为从网络媒体文本中快速、准确提取灾害三元组信息,利用自然语言处理(NLP)技术,研究灾害三元组信息抽取应用及其算法优化。通过双向编码器表示(BERT)预训练语言模型,应用于地质灾害三元组信息提取的实例中,针对模型由于底层多头注意力(M... 为从网络媒体文本中快速、准确提取灾害三元组信息,利用自然语言处理(NLP)技术,研究灾害三元组信息抽取应用及其算法优化。通过双向编码器表示(BERT)预训练语言模型,应用于地质灾害三元组信息提取的实例中,针对模型由于底层多头注意力(MHA)机制会导致“低秩瓶颈”问题,对此,通过增大模型key-size对其进行优化。结果表明:所提方法能够显著提升从新闻报道等文本中提取地质灾害种类、发生地点、发生时间等关键信息的容错率及精准率;可得到对地质等灾害空间分布情况和趋势的分析,进而为预案编制、应急资源优化配置、区域监测预警等灾害应急管理工作提供科学分析和决策信息支持。 展开更多
关键词 然语言处理(NLP) 双向编码器表示(bert) 低秩瓶颈 多头注意力(MHA) 灾害信息
在线阅读 下载PDF
基于BERT-CNN的Webshell流量检测系统设计与实现 被引量:6
19
作者 江魁 余志航 +1 位作者 陈小雷 李宇豪 《计算机应用》 CSCD 北大核心 2023年第S01期126-132,共7页
Webshell是一种网站后门程序,常被黑客用于入侵服务器后对服务器进行控制,给网站带来严重的安全隐患。针对以往基于流量的机器学习检测Webshell方法存在特征选择不全、向量化不准确、模型设计不合理导致的检测效果不佳问题,设计并实现... Webshell是一种网站后门程序,常被黑客用于入侵服务器后对服务器进行控制,给网站带来严重的安全隐患。针对以往基于流量的机器学习检测Webshell方法存在特征选择不全、向量化不准确、模型设计不合理导致的检测效果不佳问题,设计并实现了一种将基于变换器的双向编码器表示技术(BERT)与卷积神经网络(CNN)相结合的Webshell流量检测系统,通过分析超文本传输协议(HTTP)报文中各个字段信息,提取其中具有Webshell信息的特征字段,使用BERT模型对特征进行向量化编码,并结合一维CNN模型从不同空间维度检测特征建立分类模型,最后使用模型对流量数据进行检测调优。实验结果表明,与以往基于流量检测方法相比,该检测系统在准确率、召回率和F1值等性能指标上表现更好,分别达到99.84%、99.83%、99.84%。 展开更多
关键词 Webshell检测 深度学习 流量检测 基于变换器的双向编码器表示 卷积神经网络
在线阅读 下载PDF
面向句义及句法的事件检测模型
20
作者 柏瑶 刘丹 +1 位作者 郭又铭 李美文 《太赫兹科学与电子信息学报》 2023年第12期1464-1475,共12页
事件句的句法结构有助于语义理解。针对中文领域的事件检测任务,本文设计了面向句义及句法的事件检测模型(BDD)以增强对事件句的理解能力。以基于来自变压器的双向编码器表示(BERT)的动态词向量为信息源,设计基于依存树的长短时记忆网... 事件句的句法结构有助于语义理解。针对中文领域的事件检测任务,本文设计了面向句义及句法的事件检测模型(BDD)以增强对事件句的理解能力。以基于来自变压器的双向编码器表示(BERT)的动态词向量为信息源,设计基于依存树的长短时记忆网络模型(D-T-LSTM)以融合学习句法结构及上下文语义,并加入基于依存向量的注意力机制强化对不同句法结构的区分度,在中文突发事件语料库(CEC)上的实验证明了本文模型的有效性,精确率、召回率、F_(1)值均靠前,且F_(1)值比基准模型提升了5.4%,召回率提升了0.4%。 展开更多
关键词 事件检测 来自变压器的双向编码器表示 基于依存树的长短时记忆网络模型 基于依存向量的注意力机制
在线阅读 下载PDF
上一页 1 2 下一页 到第
使用帮助 返回顶部