基于transformer的工单智能判责方法研究

1

作者 汪加婧 范维 《高技术通讯》 CAS 2021年第6期660-665,共6页

在图像、文本、视频、语音以及社交类网络数据爆炸增长的时代,企业如何从海量非结构化数据中提取出有效信息并将之转化为生产效率的提升和流程自动化的实现,是目前迫切需要关注和解决的问题。本文以运营商集团电子工单自动判责场景为切... 在图像、文本、视频、语音以及社交类网络数据爆炸增长的时代,企业如何从海量非结构化数据中提取出有效信息并将之转化为生产效率的提升和流程自动化的实现,是目前迫切需要关注和解决的问题。本文以运营商集团电子工单自动判责场景为切入点,提出使用基于transformer架构的双向编码器表示(BERT)作为文本分类模型,自动收集各省份的反馈信息并进行各省份的工单责任智能判定。通过将BERT模型与LightGBM和Bi-LSTM-Attention模型进行实验对比,结果表明BERT模型对各类别工单的预测准确率均达到了96%以上,具有较好的实际应用效果。 展开更多

关键词 工单智能判责 文本分类 transformer 双向编码器表示(bert)

在线阅读 下载PDF 职称材料

基于BERT-BiLSTM-CRF的隧道施工安全领域命名实体识别

2

作者 张念 周彩凤 +3 位作者 万飞 刘非 王耀耀 徐栋梁 《中国安全科学学报》 CSCD 北大核心 2024年第12期56-63,共8页

为解决隧道施工安全领域传统命名实体识别(NER)方法存在的实体边界模糊、小样本学习困难、特征信息提取不够全面准确等问题,提出一种基于变换器的双向编码器表征(BERT)-双向长短时记忆(BiLSTM)网络-条件随机场(CRF)模型的隧道施工事故... 为解决隧道施工安全领域传统命名实体识别(NER)方法存在的实体边界模糊、小样本学习困难、特征信息提取不够全面准确等问题,提出一种基于变换器的双向编码器表征(BERT)-双向长短时记忆(BiLSTM)网络-条件随机场(CRF)模型的隧道施工事故文本实体识别方法。首先,利用BERT模型将隧道施工事故文本编码得到蕴含语义特征的词向量;然后,将BERT模型训练后输出的词向量输入BiLSTM模型进一步获取隧道施工事故文本的上下文特征并进行标签概率预测;最后,利用CRF层的标注规则的约束,修正BiLSTM模型的输出结果,得到最大概率序列标注结果,从而实现对隧道施工事故文本标签的智能分类。将该模型与其他4种常用的传统NER模型在隧道施工安全事故语料数据集上进行对比试验,试验结果表明:BERT-BiLSTM-CRF模型的识别准确率、召回率和F 1值分别达到88%、89%和88%,实体识别效果优于其他基准模型。利用所建立的NER模型识别实际隧道施工事故文本中的实体,验证了其在隧道施工安全领域中的应用效果。 展开更多

关键词 变换器的双向编码器表征(bert) 双向长短时记忆(BiLSTM)网络 条件随机场(CRF) 隧道施工 安全领域 命名实体识别(NER) 深度学习

在线阅读 下载PDF 职称材料

融合BERT的多层次语义协同模型情感分析研究 被引量：16

3

作者 胡任远 刘建华 +2 位作者 卜冠南 张冬阳 罗逸轩 《计算机工程与应用》 CSCD 北大核心 2021年第13期176-184,共9页

由于基于变换器的双向编码器表征技术(Bidirectional Encoder Representations from Transformers,BERT)的提出,改变了传统神经网络解决句子级文本情感分析问题的方法。目前的深度学习模型BERT本身学习模式为无监督学习,其需要依赖后续... 由于基于变换器的双向编码器表征技术(Bidirectional Encoder Representations from Transformers,BERT)的提出,改变了传统神经网络解决句子级文本情感分析问题的方法。目前的深度学习模型BERT本身学习模式为无监督学习,其需要依赖后续任务补全推理和决策环节,故存在缺乏目标领域知识的问题。提出一种多层协同卷积神经网络模型(Multi-level Convolutional Neural Network,MCNN),该模型能学习到不同层次的情感特征来补充领域知识,并且使用BERT预训练模型提供词向量,通过BERT学习能力的动态调整将句子真实的情感倾向嵌入模型,最后将不同层次模型输出的特征信息同双向长短期记忆网络输出信息进行特征融合后计算出最终的文本情感性向。实验结果表明即使在不同语种的语料中,该模型对比传统神经网络和近期提出的基于BERT深度学习的模型,情感极性分类的能力有明显提升。 展开更多

关键词 深度学习 文本情感分析 基于变换器的双向编码器表征技术(bert) 卷积神经网络(CNN) 协同结构

在线阅读 下载PDF 职称材料

基于BERT-BiGRU模型的文本分类研究 被引量：12

4

作者 王紫音 于青 《天津理工大学学报》 2021年第4期40-46,共7页

文本分类是自然语言处理的典型应用,目前文本分类最常用的是深度学习的分类方法。针对中文文本数据具有多种特性,例如隐喻表达、语义多义性、语法特异性等,在文本分类中进行研究。提出基于编码器-解码器的双向编码表示法-双向门控制循... 文本分类是自然语言处理的典型应用,目前文本分类最常用的是深度学习的分类方法。针对中文文本数据具有多种特性,例如隐喻表达、语义多义性、语法特异性等,在文本分类中进行研究。提出基于编码器-解码器的双向编码表示法-双向门控制循环单元(bidirectional encoder representations from transformers-bidirectional gate recurrent unit,BERT-BiGRU)模型结构,使用BERT模型代替传统的Word2vec模型表示词向量,根据上下文信息计算字的表示,在融合上下文信息的同时还能根据字的多义性进行调整,增强了字的语义表示。在BERT模型后面增加了BiGRU,将训练后的词向量作为Bi GRU的输入进行训练,该模型可以同时从两个方向对文本信息进行特征提取,使模型具有更好的文本表示信息能力,达到更精确的文本分类效果。使用提出的BERT-BiGRU模型进行文本分类,最终准确率达到0.93,召回率达到0.94,综合评价数值F1达到0.93。通过与其他模型的试验结果对比,发现BERT-BiGRU模型在中文文本分类任务中有良好的性能。 展开更多

关键词 文本分类 深度学习 基于编码器-解码器的双向编码表示法(bidirectional encoder representations from transformers bert)模型 双向门控制循环单元(bidirectional gate recurrent unit BiGRU)

在线阅读 下载PDF 职称材料

基于BERT的中文健康问句分类研究

5

作者 徐星昊 《电视技术》 2022年第3期67-70,共4页

现有的医学健康问句数据大多数都是短文本,但短文本存在特征稀疏的局限性。对此,提出一种融合特征的方法,首先通过基于变换器的双向编码器表征技术(Bidirectional Encoder Representations from Transformers,BERT)字符级特征的输出取... 现有的医学健康问句数据大多数都是短文本,但短文本存在特征稀疏的局限性。对此,提出一种融合特征的方法,首先通过基于变换器的双向编码器表征技术(Bidirectional Encoder Representations from Transformers,BERT)字符级特征的输出取平均并与BERT句子级特征的输出进行拼接,然后使用分类器进行分类。实验结果表明,本模型可以有效地提高模型提取特征的能力,在处理Kesci公众健康问句分类数据集上F1值达到83.92%,在处理中文健康公众问句数据集时F1值达到87%。 展开更多

关键词 基于变换器的双向编码器表征(bert) 健康问句 字符级特征 句子级特征

在线阅读 下载PDF 职称材料

基于命名实体识别的水电工程施工安全规范实体识别模型

6

作者 陈述 张超 +2 位作者 陈云 张光飞 李智 《中国安全科学学报》 CAS CSCD 北大核心 2024年第9期19-26,共8页

为准确识别水电工程施工安全规范实体,通过预训练模型中双向编码器表征法(BERT)挖掘文本中丰富的语义信息,利用双向长短期记忆神经网络(BILSTM)提取规范实体语义特征,依靠条件随机场(CRF)分析实体之间的依赖关系,构建水电工程施工安全... 为准确识别水电工程施工安全规范实体,通过预训练模型中双向编码器表征法(BERT)挖掘文本中丰富的语义信息,利用双向长短期记忆神经网络(BILSTM)提取规范实体语义特征,依靠条件随机场(CRF)分析实体之间的依赖关系,构建水电工程施工安全规范的命名实体识别模型;以《水利水电工程施工安全防护技术规范》(SL714—2015)为例,计算命名实体识别模型精确率。结果表明:BERT-BILSTM-CRF模型准确率为94.35%,相比于3种传统方法,准确率显著提高。研究成果有助于水电工程施工安全规范知识智能管理,为施工安全隐患智能判别提供支撑。 展开更多

关键词 命名实体识别 水电工程施工 安全规范 双向编码器表征法(bert) 双向长短期记忆神经网络(BILSTM) 条件随机场(CRF)

在线阅读 下载PDF 职称材料

基于BERT模型的智能数据分析技术

7

作者 程钰海 《信息与电脑》 2022年第24期167-170,共4页

面对日趋增长的数据分析需求,以人工编写SQL方式进行数据分析已无法满足要求,而基于自然语言交互界面的数据分析已成为发展趋势。文章提出了一种基于来自变换器的双向编码器表征量(Bidirectional Encoder Representations from Transfor... 面对日趋增长的数据分析需求,以人工编写SQL方式进行数据分析已无法满足要求,而基于自然语言交互界面的数据分析已成为发展趋势。文章提出了一种基于来自变换器的双向编码器表征量(Bidirectional Encoder Representations from Transformers,BERT)模型的智能数据分析技术,相对于Word2Vec/全局唯一标识分区表(Globally Unique Identifier Partition Table,GPT)等模型,大幅提升了自然语言到SQL转换的准确率,使自然语言交互式数据分析准确率超过人工编写SQL的方式。 展开更多

关键词 来自变换器的双向编码器表征量(bert) 自然语言处理(NLP) 智能数据分析

在线阅读 下载PDF 职称材料

面向方面级情感分类的特征融合学习网络 被引量：1

8

作者 陈金广 赵银歌 马丽丽 《模式识别与人工智能》 CSCD 北大核心 2021年第11期1049-1057,共9页

在方面级情感分类任务中,现有方法强化方面词信息能力较弱,局部特征信息利用不充分.针对上述问题,文中提出面向方面级情感分类的特征融合学习网络.首先,将评论处理为文本、方面和文本-方面的输入序列,通过双向Transformer的表征编码器... 在方面级情感分类任务中,现有方法强化方面词信息能力较弱,局部特征信息利用不充分.针对上述问题,文中提出面向方面级情感分类的特征融合学习网络.首先,将评论处理为文本、方面和文本-方面的输入序列,通过双向Transformer的表征编码器得到输入的向量表示后,使用注意力编码器进行上下文和方面词的建模,获取隐藏状态,提取语义信息.然后,基于隐藏状态特征,采用方面转换组件生成方面级特定的文本向量表示,将方面信息融入上下文表示中.最后,对于方面级特定的文本向量通过文本位置加权模块提取局部特征后,与全局特征进行融合学习,得到最终的表示特征,并进行情感分类.在英文数据集和中文评论数据集上的实验表明,文中网络提升分类效果. 展开更多

关键词 方面级情感分类 双向transformer的表征编码器(bert) 注意力编码器 局部特征提取 特定方面转换

在线阅读 下载PDF 职称材料

面向上下文注意力联合学习网络的方面级情感分类模型 被引量：11

9

作者 杨玉亭 冯林 +1 位作者 代磊超 苏菡 《模式识别与人工智能》 EI CSCD 北大核心 2020年第8期753-765,共13页

针对现有的方面级情感分类模型存在感知方面词能力较弱、泛化能力较差等问题,文中提出面向上下文注意力联合学习网络的方面级情感分类模型(CAJLN).首先,利用双向Transformer的表征编码器(BERT)模型作为编码器,将文本句子预处理成句子、... 针对现有的方面级情感分类模型存在感知方面词能力较弱、泛化能力较差等问题,文中提出面向上下文注意力联合学习网络的方面级情感分类模型(CAJLN).首先,利用双向Transformer的表征编码器(BERT)模型作为编码器,将文本句子预处理成句子、句子对和方面词级输入序列,分别经过BERT单句和句子对分类模型,进行上下文、方面词级和句子对隐藏特征提取.再基于上下文和方面词级隐藏特征,建立上下文和方面词的多种注意力机制,获取方面特定的上下文感知表示.然后,对句子对隐藏特征和方面特定的上下文感知表示进行联合学习.采用Xavier正态分布对权重进行初始化,确保反向传播时参数持续更新,使CAJLN在训练过程中可以学习有用信息.在多个数据集上的仿真实验表明,CAJLN可有效提升短文本情感分类性能. 展开更多

关键词 方面级情感分类 双向transformer的表征编码器(bert)模型 注意力机制 联合学习

在线阅读 下载PDF 职称材料

基于机器阅读理解的中文命名实体识别方法 被引量：8

10

作者 刘奕洋 余正涛 +3 位作者 高盛祥 郭军军 张亚飞 聂冰鸽 《模式识别与人工智能》 EI CSCD 北大核心 2020年第7期653-659,共7页

针对现有命名实体识别方法主要考虑单个句子内的上下文信息,很少考虑文档级上下文影响的问题,文中提出基于机器阅读理解的中文命名实体识别方法,利用阅读理解思想,充分挖掘文档级的上下文特征,支撑实体识别.首先,针对每类实体,将实体识... 针对现有命名实体识别方法主要考虑单个句子内的上下文信息,很少考虑文档级上下文影响的问题,文中提出基于机器阅读理解的中文命名实体识别方法,利用阅读理解思想,充分挖掘文档级的上下文特征,支撑实体识别.首先,针对每类实体,将实体识别任务转化为问答任务,构建问题、文本及实体答案三元组.然后,将三元组信息通过双向Transformer编码器进行预训练,再通过卷积神经网络捕捉文档级文本上下文信息.最后通过二进制分类器实现实体答案预测.在MSRA、人民日报公开数据集和自建数据集上的命名实体识别对比实验表明,文中方法性能较优,阅读理解思想对实体识别具有较好的作用. 展开更多

关键词 命名实体识别(NER) 阅读理解 神经网络 双向transformer编码器(bert)

在线阅读 下载PDF 职称材料

基于图神经网络和BiGRU的商品推荐模型

11

作者 张云立 《信息与电脑》 2022年第20期161-164,共4页

个性化推荐是互联网经济的核心竞争力。为了解决推荐系统中数据稀疏性问题,提出基于图神经网络和BiGRU的商品推荐模型。该模型先利用来自变换器的双向编码器表征量(Bidirectional Encoder Representations from Transformers,BERT)模型... 个性化推荐是互联网经济的核心竞争力。为了解决推荐系统中数据稀疏性问题,提出基于图神经网络和BiGRU的商品推荐模型。该模型先利用来自变换器的双向编码器表征量(Bidirectional Encoder Representations from Transformers,BERT)模型进行预训练,再结合BiGRU与注意力机制提取评论文本的特征,并利用图神经网络提取用户与商品的高阶交互关系,最后将两种特征向量进行拼接以实现推荐预测。在多个亚马逊公开数据集上进行实验,使用均方误差(Mean Square Error,MSE)作为评价指标。实验结果表明,与已有的优秀基准模型相比,该模型有效提高了预测精度。 展开更多

关键词 推荐系统 图神经网络(GNN) BiGRU 来自变换器的双向编码器表征量(bert) 注意力机制

在线阅读 下载PDF 职称材料

基于人工智能算法的商品归类研究与应用 被引量：1

12

作者 商志坚 熊涛 +4 位作者 刘强 李鼎一 钱胜胜 孙学忠 张明光 《中国口岸科学技术》 2024年第5期40-46,共7页

准确高效的商品归类有助于进出口企业提升通关速度、降低通关成本。为帮助进出口企业传统商品归类在效率和准确率等方面实现进一步提升,本文利用企业申报数据,构建了基于双向转换编码器表征(Bidirectional Encoder Representations from... 准确高效的商品归类有助于进出口企业提升通关速度、降低通关成本。为帮助进出口企业传统商品归类在效率和准确率等方面实现进一步提升,本文利用企业申报数据,构建了基于双向转换编码器表征(Bidirectional Encoder Representations from Transformers,BERT)与文本卷积神网络(Text Convolutional Neural Network,Text CNN)联合模型的商品归类算法,并完成归类系统开发及验证。以企业实际商品申报数据进行测试,归类准确率达95%以上,取得了较好的应用效果。 展开更多

关键词 商品归类 文本卷积神经网络(Text CNN) 双向转换编码器表征(bert)

原文传递