近年来,深度神经网络(deep neural network,DNN)在众多领域取得了广泛应用,甚至在安全关键系统中已经可以代替人类作出决策,如自动驾驶和智慧医疗等,这对DNN的可靠性提出了更高的要求.由于DNN具有复杂的多层非线性网络结构,难以理解其...近年来,深度神经网络(deep neural network,DNN)在众多领域取得了广泛应用,甚至在安全关键系统中已经可以代替人类作出决策,如自动驾驶和智慧医疗等,这对DNN的可靠性提出了更高的要求.由于DNN具有复杂的多层非线性网络结构,难以理解其内部预测机制,也很难对其进行调试.现有的DNN调试工作主要通过修改DNN的参数和扩增数据集提升DNN性能,以达到优化的目的.然而直接调整参数难以控制修改的幅度,甚至使模型失去对训练数据的拟合能力;而无指导地扩增训练数据则会大幅增加训练成本.针对此问题,提出了一种基于可解释性分析的DNN优化方法(optimizing DNN based on interpretability analysis,OptDIA).对DNN的训练过程及决策行为进行解释分析,根据解释分析结果,将原始数据中对DNN决策行为产生不同程度影响的部分以不同概率进行数据变换以生成新训练数据,并重训练DNN,以提升模型性能达到优化DNN的目的.在使用3个数据集训练的9个DNN模型上的实验结果表明,OptDIA可以将DNN的准确率提升0.39~2.15个百分点,F1-score提升0.11~2.03个百分点.展开更多
情感可解释分析是情感分析领域中一个新颖的任务,旨在判断文本极性,同时还需模型给出判断所依据的证据。现有的情感分析方法大多是黑盒模型,其内部决策机制对用户是不透明的。近年来,尽管模型可解释性受到越来越多的关注,但由于缺少人...情感可解释分析是情感分析领域中一个新颖的任务,旨在判断文本极性,同时还需模型给出判断所依据的证据。现有的情感分析方法大多是黑盒模型,其内部决策机制对用户是不透明的。近年来,尽管模型可解释性受到越来越多的关注,但由于缺少人工标注的评测数据,可解释评估仍旧是一个亟待解决的问题。该文提出了一个基于UIE (Universal Information Extraction)的情感可解释分析方法,该方法根据情感可解释任务的特点,使用小样本学习、文本聚类等技术,提高了模型的合理性、忠诚性。实验结果表明,该方法在“2022语言与智能技术竞赛:情感可解释评测”任务上获得了第一名的成绩。展开更多
在冻结法施工中,保证冻结壁稳定性至关重要,传统的现场检测方法因其间断性而无法提供实时监测,限制了对冻结壁潜在灾变的及时响应,采用冻土的深层原位精准探测是揭示冻结壁重大工程灾变机理及灾害预警的有效手段。基于卷积神经网络提出...在冻结法施工中,保证冻结壁稳定性至关重要,传统的现场检测方法因其间断性而无法提供实时监测,限制了对冻结壁潜在灾变的及时响应,采用冻土的深层原位精准探测是揭示冻结壁重大工程灾变机理及灾害预警的有效手段。基于卷积神经网络提出一种基于图像数据驱动的冻土强度智能识别方法,通过对93组试样的多角度图像捕获及随后的单轴抗压强度试验,标注试样图像与实际强度数据并结合图像数据增强技术,构建了深度学习模型训练所需的图像数据集;利用迁移学习深度残差网络34层(ResNet-34)模型,并对比其他不同模型的训练过程和测试结果,发现ResNet-34模型效果最佳,准确率为92.8%,且没有出现过拟合现象;应用深度学习模型对冻土强度的影响因素土质、温度和含水率进行识别,发现模型能有效识别出3个变量,证明了模型识别冻土强度的科学性和可靠性;此外研究了模型在不同干扰条件下的表现,模拟典型干扰场景并分析其对模型预测性能的影响,为后续改进数据增强策略和模型优化方向提供依据;引入Grad-CAM(Gradient-weighted Class Activation Mapping)可解释性分析方法揭示卷积神经网络在冻土强度识别任务中的内部特征提取过程,发现利用模型能够提取和分析冻土的关键图像特征,实现冻土强度的快速判识。研究成果为冻结壁状态的实时监控及早期灾害预警提供了新方法,可为冻结工程安全施工提供技术支撑。展开更多
文摘近年来,深度神经网络(deep neural network,DNN)在众多领域取得了广泛应用,甚至在安全关键系统中已经可以代替人类作出决策,如自动驾驶和智慧医疗等,这对DNN的可靠性提出了更高的要求.由于DNN具有复杂的多层非线性网络结构,难以理解其内部预测机制,也很难对其进行调试.现有的DNN调试工作主要通过修改DNN的参数和扩增数据集提升DNN性能,以达到优化的目的.然而直接调整参数难以控制修改的幅度,甚至使模型失去对训练数据的拟合能力;而无指导地扩增训练数据则会大幅增加训练成本.针对此问题,提出了一种基于可解释性分析的DNN优化方法(optimizing DNN based on interpretability analysis,OptDIA).对DNN的训练过程及决策行为进行解释分析,根据解释分析结果,将原始数据中对DNN决策行为产生不同程度影响的部分以不同概率进行数据变换以生成新训练数据,并重训练DNN,以提升模型性能达到优化DNN的目的.在使用3个数据集训练的9个DNN模型上的实验结果表明,OptDIA可以将DNN的准确率提升0.39~2.15个百分点,F1-score提升0.11~2.03个百分点.
文摘情感可解释分析是情感分析领域中一个新颖的任务,旨在判断文本极性,同时还需模型给出判断所依据的证据。现有的情感分析方法大多是黑盒模型,其内部决策机制对用户是不透明的。近年来,尽管模型可解释性受到越来越多的关注,但由于缺少人工标注的评测数据,可解释评估仍旧是一个亟待解决的问题。该文提出了一个基于UIE (Universal Information Extraction)的情感可解释分析方法,该方法根据情感可解释任务的特点,使用小样本学习、文本聚类等技术,提高了模型的合理性、忠诚性。实验结果表明,该方法在“2022语言与智能技术竞赛:情感可解释评测”任务上获得了第一名的成绩。
文摘在冻结法施工中,保证冻结壁稳定性至关重要,传统的现场检测方法因其间断性而无法提供实时监测,限制了对冻结壁潜在灾变的及时响应,采用冻土的深层原位精准探测是揭示冻结壁重大工程灾变机理及灾害预警的有效手段。基于卷积神经网络提出一种基于图像数据驱动的冻土强度智能识别方法,通过对93组试样的多角度图像捕获及随后的单轴抗压强度试验,标注试样图像与实际强度数据并结合图像数据增强技术,构建了深度学习模型训练所需的图像数据集;利用迁移学习深度残差网络34层(ResNet-34)模型,并对比其他不同模型的训练过程和测试结果,发现ResNet-34模型效果最佳,准确率为92.8%,且没有出现过拟合现象;应用深度学习模型对冻土强度的影响因素土质、温度和含水率进行识别,发现模型能有效识别出3个变量,证明了模型识别冻土强度的科学性和可靠性;此外研究了模型在不同干扰条件下的表现,模拟典型干扰场景并分析其对模型预测性能的影响,为后续改进数据增强策略和模型优化方向提供依据;引入Grad-CAM(Gradient-weighted Class Activation Mapping)可解释性分析方法揭示卷积神经网络在冻土强度识别任务中的内部特征提取过程,发现利用模型能够提取和分析冻土的关键图像特征,实现冻土强度的快速判识。研究成果为冻结壁状态的实时监控及早期灾害预警提供了新方法,可为冻结工程安全施工提供技术支撑。
