针对目前情感分析方法无法解决一词多义、无法获取上下文语义信息、过于依赖局部特征等问题,提出了一种基于双向编码器的卷积失活神经网络(bidirectional encoder representation from Transformer-convolutional neural networks-Dropo...针对目前情感分析方法无法解决一词多义、无法获取上下文语义信息、过于依赖局部特征等问题,提出了一种基于双向编码器的卷积失活神经网络(bidirectional encoder representation from Transformer-convolutional neural networks-Dropout,BERT-CNN-Dropout)模型的文本情感分析方法。首先,使用预训练模型BERT作为模型的词嵌入层,充分获取蕴含上下文信息的词向量;再将这些词向量输入到CNN中提取情感特征,同时为了减轻对局部特征的过度依赖和提升模型的训练效率,在模型中引入Dropout机制;最后,通过softmax函数对情感类型进行分类。实验结果表明,当Dropout值设置为0.25,并选择Adam优化器时,情感分析性能最佳,准确率、精确率、召回率、F1值和曲线下面积(area under the curve,AUC)分别为93.05%、93.16%、94.24%、93.7%和0.942,具有一定的研究价值。展开更多
高精度的光电编码器作为位置传感器广泛应用于伺服系统中,双向同步串行接口(Bidirectional Synchronous Serial Interface,简称BiSS)由于速度快,抗干扰能力强,越来越广泛地用于连接编码器和控制器;为了实现BiSS接口传感器数据的读取,提...高精度的光电编码器作为位置传感器广泛应用于伺服系统中,双向同步串行接口(Bidirectional Synchronous Serial Interface,简称BiSS)由于速度快,抗干扰能力强,越来越广泛地用于连接编码器和控制器;为了实现BiSS接口传感器数据的读取,提出了两种读取数据的方式:微控制器方式和CPLD方式,两种方式都是用端口产生时钟,通过差分器件把时钟发送给光电编码器,同步接收光电编码器返回的差分n位位置数据、2位状态数据和6位CRC校验码;微控制器或CPLD利用位置和状态数据运算产生CRC校验码,如果运算产生的CRC和接收到的CRC不一致,说明传输过程出错;实验结果表明,两种方式都具有高可靠性,CPLD方式的快速性更高,通用性更强。展开更多
目前,空管各类安全管理信息化平台积累了大量非结构化文本数据,但未得到充分利用,为了挖掘空管不正常事件中潜藏的风险,研究利用收集的四千余条空管站不正常事件数据和自构建的4836个空管领域专业术语词,提出了一个基于空管专业信息词...目前,空管各类安全管理信息化平台积累了大量非结构化文本数据,但未得到充分利用,为了挖掘空管不正常事件中潜藏的风险,研究利用收集的四千余条空管站不正常事件数据和自构建的4836个空管领域专业术语词,提出了一个基于空管专业信息词抽取的双向编码器表征法和双向长短时记忆网络的深度学习模型(Bidirectional Encoder Representations from Transformers-Bidirectional Long Short-Term Memory,BERT-BiLSTM)。该模型通过对不正常事件文本进行信息抽取,过滤其中无用信息,并将双向编码器表征法(Bidirectional Encoder Representations from Transformers,BERT)模型输出的特征向量序列作为双向长短时记忆网络(Bidirectional Long Short-Term Memory,BiLSTM)的输入序列,以对空管不正常事件文本风险识别任务进行对比试验。试验结果显示,在风险识别试验中,基于空管专业信息词抽取的BERT-BiLSTM模型相比于通用领域的BERT模型,风险识别准确率提升了3百分点。可以看出该模型有效提升了空管安全信息处理能力,能够有效识别空管部门日常运行中出现的不正常事件所带来的风险,同时可以为空管安全领域信息挖掘相关任务提供基础参考。展开更多
针对稀疏自动编码器(Sparse auto encoder,SAE)采用sigmoid激活函数容易造成梯度消失的问题,用一种新的Tan函数替代原有的sigmoid函数;针对SAE采用Kullback-Leibler(KL)散度进行稀疏性约束在回归预测方面的局限性,以dropout机制替代KL...针对稀疏自动编码器(Sparse auto encoder,SAE)采用sigmoid激活函数容易造成梯度消失的问题,用一种新的Tan函数替代原有的sigmoid函数;针对SAE采用Kullback-Leibler(KL)散度进行稀疏性约束在回归预测方面的局限性,以dropout机制替代KL散度实现网络的稀疏性.利用改进SAE对滚动轴承振动信号进行无监督深层特征自适应提取,无需人工设计标签进行有监督微调.同时,考虑到滚动轴承剩余使用寿命(Remaining useful life,RUL)预测方法一般仅考虑过去信息而忽略未来信息,引入双向长短时记忆网络(Bi-directional long short-term memory,Bi-LSTM)构建滚动轴承RUL的预测模型.在2个轴承数据集上的实验结果均表明,所提基于改进SAE和Bi-LSTM的滚动轴承RUL预测方法不仅可以提高模型的收敛速度而且具有较低的预测误差.展开更多
文摘针对目前情感分析方法无法解决一词多义、无法获取上下文语义信息、过于依赖局部特征等问题,提出了一种基于双向编码器的卷积失活神经网络(bidirectional encoder representation from Transformer-convolutional neural networks-Dropout,BERT-CNN-Dropout)模型的文本情感分析方法。首先,使用预训练模型BERT作为模型的词嵌入层,充分获取蕴含上下文信息的词向量;再将这些词向量输入到CNN中提取情感特征,同时为了减轻对局部特征的过度依赖和提升模型的训练效率,在模型中引入Dropout机制;最后,通过softmax函数对情感类型进行分类。实验结果表明,当Dropout值设置为0.25,并选择Adam优化器时,情感分析性能最佳,准确率、精确率、召回率、F1值和曲线下面积(area under the curve,AUC)分别为93.05%、93.16%、94.24%、93.7%和0.942,具有一定的研究价值。
文摘高精度的光电编码器作为位置传感器广泛应用于伺服系统中,双向同步串行接口(Bidirectional Synchronous Serial Interface,简称BiSS)由于速度快,抗干扰能力强,越来越广泛地用于连接编码器和控制器;为了实现BiSS接口传感器数据的读取,提出了两种读取数据的方式:微控制器方式和CPLD方式,两种方式都是用端口产生时钟,通过差分器件把时钟发送给光电编码器,同步接收光电编码器返回的差分n位位置数据、2位状态数据和6位CRC校验码;微控制器或CPLD利用位置和状态数据运算产生CRC校验码,如果运算产生的CRC和接收到的CRC不一致,说明传输过程出错;实验结果表明,两种方式都具有高可靠性,CPLD方式的快速性更高,通用性更强。
文摘目前,空管各类安全管理信息化平台积累了大量非结构化文本数据,但未得到充分利用,为了挖掘空管不正常事件中潜藏的风险,研究利用收集的四千余条空管站不正常事件数据和自构建的4836个空管领域专业术语词,提出了一个基于空管专业信息词抽取的双向编码器表征法和双向长短时记忆网络的深度学习模型(Bidirectional Encoder Representations from Transformers-Bidirectional Long Short-Term Memory,BERT-BiLSTM)。该模型通过对不正常事件文本进行信息抽取,过滤其中无用信息,并将双向编码器表征法(Bidirectional Encoder Representations from Transformers,BERT)模型输出的特征向量序列作为双向长短时记忆网络(Bidirectional Long Short-Term Memory,BiLSTM)的输入序列,以对空管不正常事件文本风险识别任务进行对比试验。试验结果显示,在风险识别试验中,基于空管专业信息词抽取的BERT-BiLSTM模型相比于通用领域的BERT模型,风险识别准确率提升了3百分点。可以看出该模型有效提升了空管安全信息处理能力,能够有效识别空管部门日常运行中出现的不正常事件所带来的风险,同时可以为空管安全领域信息挖掘相关任务提供基础参考。
文摘针对稀疏自动编码器(Sparse auto encoder,SAE)采用sigmoid激活函数容易造成梯度消失的问题,用一种新的Tan函数替代原有的sigmoid函数;针对SAE采用Kullback-Leibler(KL)散度进行稀疏性约束在回归预测方面的局限性,以dropout机制替代KL散度实现网络的稀疏性.利用改进SAE对滚动轴承振动信号进行无监督深层特征自适应提取,无需人工设计标签进行有监督微调.同时,考虑到滚动轴承剩余使用寿命(Remaining useful life,RUL)预测方法一般仅考虑过去信息而忽略未来信息,引入双向长短时记忆网络(Bi-directional long short-term memory,Bi-LSTM)构建滚动轴承RUL的预测模型.在2个轴承数据集上的实验结果均表明,所提基于改进SAE和Bi-LSTM的滚动轴承RUL预测方法不仅可以提高模型的收敛速度而且具有较低的预测误差.
