DNA N6-甲基腺嘌呤(6mA)是一种重要的表观遗传修饰,参与基因调控、DNA复制和修复等生物过程,对疾病研究也具有重要意义,准确识别DNA 6mA位点对理解其功能和机制至关重要。尽管现有的NA 6mA位点预测方法已取得较大成功,但在预测精度和跨...DNA N6-甲基腺嘌呤(6mA)是一种重要的表观遗传修饰,参与基因调控、DNA复制和修复等生物过程,对疾病研究也具有重要意义,准确识别DNA 6mA位点对理解其功能和机制至关重要。尽管现有的NA 6mA位点预测方法已取得较大成功,但在预测精度和跨物种泛化能力上仍有改进空间。本文提出了一种结合双向长短期记忆网络(BiLSTM)和卷积神经网络(CNN)的混合深度学习模型(BiLSTM→CNN)来提高对DNA 6mA位点预测的能力。模型首先采用one-hot、EIIP和DNA二聚体三种编码方式对DNA序列进行编码,然后在不同网络结构、层数和优化器下优化模型。通过在蔷薇科植物、水稻和拟南芥的数据集上的广泛实验表明,BiLSTM→CNN模型在蔷薇科植物中的准确率(ACC)为94.5%,在水稻中为93.8%,在拟南芥中为86.6%。与其他方法相比,BiLSTM→CNN模型在三个植物物种的6mA位点预测中均展现出良好的性能,并具有出色的跨物种泛化能力。DNA N6-methyladenine (6mA) is an important epigenetic modification involved in biological processes such as gene regulation, DNA replication, and repair, making it significant for disease research. Therefore, accurately identifying DNA 6mA sites is crucial for understanding their functions and mechanisms. Despite notable successes with existing methods, there is still room for improvement in prediction accuracy and cross-species generalization. In this study, we propose a hybrid deep learning model (BiLSTM→CNN) that integrates bidirectional long short-term memory networks (BiLSTM) and convolutional neural networks (CNN). Firstly, the model-encoded DNA sequences employ one-hot encoding, EIIP encoding, and DNA dimer encoding. And then optimized under various network architectures, layer configurations and optimizers. We conducted experiments on datasets from Rosaceae, rice and Arabidopsis thaliana, the results indicate that the BiLSTM→CNNmodel achieves an accuracy (ACC) of 94.5% for Rosaceae, 93.8% for rice, and 86.6% for Arabidopsis. Compared to other methods, BiLSTM→CNNdemonstrates excellent performance in predicting 6mA sites across the three plant species, and exhibits cross-species generalization capabilities.展开更多
针对目前情感分析方法无法解决一词多义、无法获取上下文语义信息、过于依赖局部特征等问题,提出了一种基于双向编码器的卷积失活神经网络(bidirectional encoder representation from Transformer-convolutional neural networks-Dropo...针对目前情感分析方法无法解决一词多义、无法获取上下文语义信息、过于依赖局部特征等问题,提出了一种基于双向编码器的卷积失活神经网络(bidirectional encoder representation from Transformer-convolutional neural networks-Dropout,BERT-CNN-Dropout)模型的文本情感分析方法。首先,使用预训练模型BERT作为模型的词嵌入层,充分获取蕴含上下文信息的词向量;再将这些词向量输入到CNN中提取情感特征,同时为了减轻对局部特征的过度依赖和提升模型的训练效率,在模型中引入Dropout机制;最后,通过softmax函数对情感类型进行分类。实验结果表明,当Dropout值设置为0.25,并选择Adam优化器时,情感分析性能最佳,准确率、精确率、召回率、F1值和曲线下面积(area under the curve,AUC)分别为93.05%、93.16%、94.24%、93.7%和0.942,具有一定的研究价值。展开更多
针对传统卷积神经网络故障诊断方法提取特征不丰富,容易丢失故障敏感信息,且在单一尺度处理方法限制实际复杂工况下故障特性的深度挖掘问题,提出了注意力机制的多尺度卷积神经网络和双向长短期记忆(bi-directional long short-term memo...针对传统卷积神经网络故障诊断方法提取特征不丰富,容易丢失故障敏感信息,且在单一尺度处理方法限制实际复杂工况下故障特性的深度挖掘问题,提出了注意力机制的多尺度卷积神经网络和双向长短期记忆(bi-directional long short-term memory,BiLSTM)网络融合的迁移学习故障诊断方法。该方法首先应用不同尺寸池化层和卷积核捕获振动信号的多尺度特征;然后引入多头自注意力机制自动地给予特征序列中的不同部分不同的权重,进一步加强特征表示的能力;其次利用BiLSTM结构引入双向性质提取特征前后之间的内部关系实现信息的逐层传递;最后利用多核最大均值差异减小源域和目标域在预训练模型中各层上的概率分布差异并利用少量标记的目标域数据再对模型进行训练。试验结果表明,所提方法在江南大学(JNU)、德国帕德博恩大学(PU)公开轴承数据集上平均准确率分别为98.43%和97.66%,该方法在重庆长江轴承股份有限公司自制的轴承故障数据集上也表现出了极高的准确率和较快的收敛速度,为有效诊断振动旋转部件故障提供了实际依据。展开更多
为增强综合能源系统负荷精细化分解水平,充分利用误差信息以进一步提升预测性能,提出一种基于聚合混合模态分解和时序卷积神经网络(temporal convolutional network,TCN)的综合能源系统负荷修正预测框架。首先,采用改进完全集合经验模...为增强综合能源系统负荷精细化分解水平,充分利用误差信息以进一步提升预测性能,提出一种基于聚合混合模态分解和时序卷积神经网络(temporal convolutional network,TCN)的综合能源系统负荷修正预测框架。首先,采用改进完全集合经验模态分解对电、冷和热负荷初步分解处理,随后利用变分模态分解对具有强复杂性的子序列进一步分解。然后,依据最大信息系数(maximum information coefficient,MIC)分析多元负荷的耦合特性并通过多元相空间重构(multivariate phase space reconstruction,MPSR)丰富特征信息。最后,构建基于TCN的修正预测模型。以校园综合能源系统算例对比不同预测模型,结果显示所提修正预测框架的电、冷和热负荷预测均具有较低的平均绝对百分比误差,有效解决了预测中模态分解的模态混叠以及模态高频分量问题,实现预测误差修正。展开更多
文摘DNA N6-甲基腺嘌呤(6mA)是一种重要的表观遗传修饰,参与基因调控、DNA复制和修复等生物过程,对疾病研究也具有重要意义,准确识别DNA 6mA位点对理解其功能和机制至关重要。尽管现有的NA 6mA位点预测方法已取得较大成功,但在预测精度和跨物种泛化能力上仍有改进空间。本文提出了一种结合双向长短期记忆网络(BiLSTM)和卷积神经网络(CNN)的混合深度学习模型(BiLSTM→CNN)来提高对DNA 6mA位点预测的能力。模型首先采用one-hot、EIIP和DNA二聚体三种编码方式对DNA序列进行编码,然后在不同网络结构、层数和优化器下优化模型。通过在蔷薇科植物、水稻和拟南芥的数据集上的广泛实验表明,BiLSTM→CNN模型在蔷薇科植物中的准确率(ACC)为94.5%,在水稻中为93.8%,在拟南芥中为86.6%。与其他方法相比,BiLSTM→CNN模型在三个植物物种的6mA位点预测中均展现出良好的性能,并具有出色的跨物种泛化能力。DNA N6-methyladenine (6mA) is an important epigenetic modification involved in biological processes such as gene regulation, DNA replication, and repair, making it significant for disease research. Therefore, accurately identifying DNA 6mA sites is crucial for understanding their functions and mechanisms. Despite notable successes with existing methods, there is still room for improvement in prediction accuracy and cross-species generalization. In this study, we propose a hybrid deep learning model (BiLSTM→CNN) that integrates bidirectional long short-term memory networks (BiLSTM) and convolutional neural networks (CNN). Firstly, the model-encoded DNA sequences employ one-hot encoding, EIIP encoding, and DNA dimer encoding. And then optimized under various network architectures, layer configurations and optimizers. We conducted experiments on datasets from Rosaceae, rice and Arabidopsis thaliana, the results indicate that the BiLSTM→CNNmodel achieves an accuracy (ACC) of 94.5% for Rosaceae, 93.8% for rice, and 86.6% for Arabidopsis. Compared to other methods, BiLSTM→CNNdemonstrates excellent performance in predicting 6mA sites across the three plant species, and exhibits cross-species generalization capabilities.
文摘针对目前情感分析方法无法解决一词多义、无法获取上下文语义信息、过于依赖局部特征等问题,提出了一种基于双向编码器的卷积失活神经网络(bidirectional encoder representation from Transformer-convolutional neural networks-Dropout,BERT-CNN-Dropout)模型的文本情感分析方法。首先,使用预训练模型BERT作为模型的词嵌入层,充分获取蕴含上下文信息的词向量;再将这些词向量输入到CNN中提取情感特征,同时为了减轻对局部特征的过度依赖和提升模型的训练效率,在模型中引入Dropout机制;最后,通过softmax函数对情感类型进行分类。实验结果表明,当Dropout值设置为0.25,并选择Adam优化器时,情感分析性能最佳,准确率、精确率、召回率、F1值和曲线下面积(area under the curve,AUC)分别为93.05%、93.16%、94.24%、93.7%和0.942,具有一定的研究价值。
文摘针对传统卷积神经网络故障诊断方法提取特征不丰富,容易丢失故障敏感信息,且在单一尺度处理方法限制实际复杂工况下故障特性的深度挖掘问题,提出了注意力机制的多尺度卷积神经网络和双向长短期记忆(bi-directional long short-term memory,BiLSTM)网络融合的迁移学习故障诊断方法。该方法首先应用不同尺寸池化层和卷积核捕获振动信号的多尺度特征;然后引入多头自注意力机制自动地给予特征序列中的不同部分不同的权重,进一步加强特征表示的能力;其次利用BiLSTM结构引入双向性质提取特征前后之间的内部关系实现信息的逐层传递;最后利用多核最大均值差异减小源域和目标域在预训练模型中各层上的概率分布差异并利用少量标记的目标域数据再对模型进行训练。试验结果表明,所提方法在江南大学(JNU)、德国帕德博恩大学(PU)公开轴承数据集上平均准确率分别为98.43%和97.66%,该方法在重庆长江轴承股份有限公司自制的轴承故障数据集上也表现出了极高的准确率和较快的收敛速度,为有效诊断振动旋转部件故障提供了实际依据。
文摘为增强综合能源系统负荷精细化分解水平,充分利用误差信息以进一步提升预测性能,提出一种基于聚合混合模态分解和时序卷积神经网络(temporal convolutional network,TCN)的综合能源系统负荷修正预测框架。首先,采用改进完全集合经验模态分解对电、冷和热负荷初步分解处理,随后利用变分模态分解对具有强复杂性的子序列进一步分解。然后,依据最大信息系数(maximum information coefficient,MIC)分析多元负荷的耦合特性并通过多元相空间重构(multivariate phase space reconstruction,MPSR)丰富特征信息。最后,构建基于TCN的修正预测模型。以校园综合能源系统算例对比不同预测模型,结果显示所提修正预测框架的电、冷和热负荷预测均具有较低的平均绝对百分比误差,有效解决了预测中模态分解的模态混叠以及模态高频分量问题,实现预测误差修正。
