期刊文献+
共找到9篇文章
< 1 >
每页显示 20 50 100
基于多模态表征的移动应用GUI模糊测试框架 被引量:2
1
作者 张少坤 李元春 +4 位作者 雷瀚文 蒋鹏 李锭 郭耀 陈向群 《软件学报》 EI CSCD 北大核心 2024年第7期3162-3179,共18页
GUI模糊测试在提升移动应用可靠性和兼容性方面发挥着关键作用.然而,现有的GUI模糊测试方法大多效率较低,主要原因是这些工作过于粗粒度,仅基于单一模态的特征来整体理解GUI页面,应用状态的过度抽象使得许多细节信息被忽略,导致对GUI状... GUI模糊测试在提升移动应用可靠性和兼容性方面发挥着关键作用.然而,现有的GUI模糊测试方法大多效率较低,主要原因是这些工作过于粗粒度,仅基于单一模态的特征来整体理解GUI页面,应用状态的过度抽象使得许多细节信息被忽略,导致对GUI状态及小部件的理解不足.为了解决上述问题,提出了一种基于多模态表征的移动应用GUI模糊测试框架GUIFuzzer.该框架通过考虑多模态特征,如视觉特征、布局上下特征和细粒度的元属性特征,来联合推断GUI小部件的语义;然后,训练一个多层次奖励驱动的深度强化学习模型来优化GUI事件选择策略,提高模糊测试的效率.在大量的真实应用上对所提框架进行了评估.实验结果表明:与现有的竞争性基线相比,GUIFuzzer显著地提升了模糊测试的覆盖率.还对特定目标的定制化搜索即敏感API触发进行了案例研究,进一步验证了GUIFuzzer框架的实用性. 展开更多
关键词 GUI模糊测试 强化学习 深度学习 多模态表征 定制化搜索
在线阅读 下载PDF
4~5岁汉语儿童否定行为的多模态表征特点 被引量:1
2
作者 王荣斌 薛耀琴 《学前教育研究》 CSSCI 北大核心 2020年第1期20-29,共10页
否定行为是一类常见的儿童交际行为。除了语言否定,儿童还会通过手势语、身势动作等非语言符号,以及语言与非语言符号的协同使用来实施否定。本研究深入考察两名4耀5岁汉语普通话儿童的多模态否定行为的类型及其表征,结果发现与更年幼... 否定行为是一类常见的儿童交际行为。除了语言否定,儿童还会通过手势语、身势动作等非语言符号,以及语言与非语言符号的协同使用来实施否定。本研究深入考察两名4耀5岁汉语普通话儿童的多模态否定行为的类型及其表征,结果发现与更年幼的儿童相比,4耀5岁汉语儿童的多模态否定交际能力得到进一步发展,能够依据语境实施不同的多模态否定行为;该年龄段儿童具备使用语言否定、非语言否定、语言与非语言协同否定三种表征方式来实施否定行为的多模态交际能力,但以语言否定为主导,且模态互动关系有并列、互补和强化三种。在多模态交际日益普遍化的时代背景下,包括多模态否定在内的多模态交际能力已成为儿童今后必备的一项重要交际能力。家长与儿童教育工作者需要合理给予儿童借助多模态符号自由表征其否定行为的机会,并及时思考和发现个体儿童多模态否定行为表征特点背后可能反映出的儿童心理与多模态交际能力方面的问题,帮助儿童获得心理与多模态交际能力的同步健康发展,从而更好地适应未来普遍化的多模态交际环境。 展开更多
关键词 汉语儿童 否定行为 多模态表征 历时语料
在线阅读 下载PDF
多模态原位表征技术在CO_(x)加氢反应中的应用
3
作者 闫子怡 曾杰 《洁净煤技术》 北大核心 2025年第5期1-16,共16页
CO_(x)加氢反应是实现废气资源高值转化的重要催化过程,其反应机制涉及复杂的传热、传质、表面反应以及催化剂表面-体相的动态演化等。随着催化体系结构复杂化和反应条件的工业化,单一的离位或静态表征手段在空间分辨率、时间响应能力... CO_(x)加氢反应是实现废气资源高值转化的重要催化过程,其反应机制涉及复杂的传热、传质、表面反应以及催化剂表面-体相的动态演化等。随着催化体系结构复杂化和反应条件的工业化,单一的离位或静态表征手段在空间分辨率、时间响应能力和反应一致性等方面的局限性愈发明显,难以满足对反应中间体、活性中心以及构效关系的深入理解需求。近年来,多模态原位表征技术的快速发展为深入揭示CO_(x)加氢反应过程中的关键结构信息与反应路径提供了新的工具。这类技术通过在真实或近真实反应条件下实现多信号同步采集,结合高时空分辨率的探测能力,使得研究者能够从气相物种行为、催化剂表面电子态变化、活性位点演化到整体结构稳定性等多个维度进行系统观测。多种表征技术协同使用正在逐步突破单一手段在气氛适应性、信息类型单一和动态结构解析能力等方面的局限,为复杂催化体系构建结构-反应-性能关联提供支撑。通过同步辐射真空紫外光电离质谱(SVUV-PIMS)、稳态同位素瞬变动力学分析技术(SSITKA)、红外光谱(IR)、荧光分子原位测温技术、可调入射光能量/掠入射角度的X射线光电子能谱(XPS)、原位X射线衍射技术(XRD)以及原位穆斯堡尔谱等表征技术,研究者能够在真实反应条件下,对催化体系的组成、电子结构、动力学行为等关键特征进行系统观测与定量分析,从而更清晰地了解反应中间体的变化及表面偏析等过程,为高选择性催化剂的设计提供科学依据。 展开更多
关键词 CO_(x)加氢反应 多模态表征技术 活性中心 反应路径 表面重构
在线阅读 下载PDF
基于多视图表征的虚假新闻检测 被引量:1
4
作者 张新有 孙峰 +1 位作者 冯力 邢焕来 《信息网络安全》 CSCD 北大核心 2024年第3期438-448,共11页
社交网络已经成为人们日常生活中获取和分享信息的主要渠道,同时也为虚假新闻的传播提供了捷径。如今,针对网络虚假新闻的检测问题受到学术界的广泛关注,但目前的检测方法缺乏基于新闻多个视角的深度探索或忽视了新闻中不同信息传播方... 社交网络已经成为人们日常生活中获取和分享信息的主要渠道,同时也为虚假新闻的传播提供了捷径。如今,针对网络虚假新闻的检测问题受到学术界的广泛关注,但目前的检测方法缺乏基于新闻多个视角的深度探索或忽视了新闻中不同信息传播方向不同的问题,有待改进。文章提出一种基于新闻内容、用户信息和新闻传播3种视角的多视图表征和检测的模型MVRFD(Multi-View Representations for Fake News Detection),为虚假新闻检测任务提供更全面的视角。首先,利用协同注意力机制表征新闻内容中的多模态信息,使用具有不同方向的图神经网络聚合新闻传播过程中的用户信息和观点信息;然后,利用双协同注意力机制实现多个视角间的信息交互;最后,将新闻内容特征和新闻上下文特征进行融合。在公开数据集上的实验结果表明,文章所提出的模型实现了96.7%的准确率和96.8%的F1值,优于主流的文本处理模型以及基于单视角的检测模型。 展开更多
关键词 虚假新闻检测 图神经网络 多模态表征 注意力机制 多视图表征
在线阅读 下载PDF
多模态视觉语言表征学习研究综述 被引量:34
5
作者 杜鹏飞 李小勇 高雅丽 《软件学报》 EI CSCD 北大核心 2021年第2期327-348,共22页
我们生活在一个由大量不同模态内容构建而成的多媒体世界中,不同模态信息之间具有高度的相关性和互补性,多模态表征学习的主要目的就是挖掘出不同模态之间的共性和特性,产生出可以表示多模态信息的隐含向量.主要介绍了目前应用较广的视... 我们生活在一个由大量不同模态内容构建而成的多媒体世界中,不同模态信息之间具有高度的相关性和互补性,多模态表征学习的主要目的就是挖掘出不同模态之间的共性和特性,产生出可以表示多模态信息的隐含向量.主要介绍了目前应用较广的视觉语言表征的相应研究工作,包括传统的基于相似性模型的研究方法和目前主流的基于语言模型的预训练的方法.目前比较好的思路和解决方案是将视觉特征语义化,然后与文本特征通过一个强大的特征抽取器产生出表征,其中,Transformer作为主要的特征抽取器被应用表征学习的各类任务中.分别从研究背景、不同研究方法的划分、测评方法、未来发展趋势等几个不同角度进行阐述. 展开更多
关键词 多模态表征学习 表征学习 多模态机器学习 深度学习
在线阅读 下载PDF
环保公益广告中的多模态隐喻表征类型研究——以保护水资源公益广告为例 被引量:17
6
作者 胡芳 刘诗萌 《山东外语教学》 2018年第1期34-45,共12页
结合国内外多模态隐喻表征研究的相关成果,在Forceville的多模态隐喻理论框架内,以中华环保基金会官网上收集的90篇保护水资源公益广告为语料来源,本文研究了该类公益广告中多模态隐喻的主要表征类型及其隐喻映射的语类特点。研究表明,... 结合国内外多模态隐喻表征研究的相关成果,在Forceville的多模态隐喻理论框架内,以中华环保基金会官网上收集的90篇保护水资源公益广告为语料来源,本文研究了该类公益广告中多模态隐喻的主要表征类型及其隐喻映射的语类特点。研究表明,保护水资源公益广告中存在六种多模态隐喻表征类型,图像、文字、文图是保护水资源公益广告多模态隐喻表征的三种主要模态,而图像-文字、图像-文图两类表征的出现频率最高。论文结合具体实例分析并阐释了多模态隐喻表征背后的认知理据,其研究结果在一定程度上丰富了公益广告的语类特点研究,同时也为公益广告设计者提供了一定的启发。 展开更多
关键词 保护水资源公益广告 多模态隐喻 多模态隐喻表征
在线阅读 下载PDF
陶瓷涂层材料多模态数据表征学习 被引量:1
7
作者 武星 胡明涛 丁鹏 《上海大学学报(自然科学版)》 CAS CSCD 北大核心 2022年第3期492-503,共12页
陶瓷涂层具有耐高温、耐腐蚀、耐磨损等特性,其热膨胀系数和热导率等参数与其性能息息相关.为解决陶瓷涂层性能实验成本高、测试困难等问题,提出了陶瓷涂层材料多模态数据表征学习的性能预测方法.首先利用高斯混合模型虚拟样本生成(G au... 陶瓷涂层具有耐高温、耐腐蚀、耐磨损等特性,其热膨胀系数和热导率等参数与其性能息息相关.为解决陶瓷涂层性能实验成本高、测试困难等问题,提出了陶瓷涂层材料多模态数据表征学习的性能预测方法.首先利用高斯混合模型虚拟样本生成(G aussian mixture model virtual sample generation,GMMVSG)算法生成符合真实陶瓷涂层数据分布的样本来扩充数据集;其次利用卷积神经网络VGG16对陶瓷涂层的显微结构图像数据进行特征提取,利用TabNet对结构化数据进行特征提取,将提取到的图像数据特征与结构化数据特征融合;最终根据多模态数据表征建立基于K-最近邻(K-nearest neighbor,KNN)、支持向量机回归(support vector regression,SVR)和多层感知机(multi-layer perceptron,MLP)3种机器学习算法的预测模型,对陶瓷涂层的性能指标,即热膨胀系数和热导率进行了预测.实验结果表明:提出的多模态数据表征学习模型的预测结果要优于单模态数据表征学习模型,其中基于MLP算法训练的多模态数据表征学习模型对陶瓷涂层性能的预测效果最好;在测试集中,对陶瓷涂层热膨胀系数预测的平均绝对误差(mean absolute error,MAE)和均方误差(mean square error,MSE)分别为0.0266和0.0017,对热导率预测的MAE和MSE分别为0.0179和0.0007.所提出的陶瓷涂层材料多模态数据表征学习方法有效融合了结构化数据与非结构化数据,联合学习了各模态数据的潜在共享信息,成功提升了对陶瓷涂料层材料性能预测的准确度. 展开更多
关键词 陶瓷涂层 高斯混合模型 多模态数据表征 机器学习算法
在线阅读 下载PDF
基于模态特异及模态共享特征信息的多模态细粒度检索 被引量:4
8
作者 李佩 陈乔松 +3 位作者 陈鹏昌 邓欣 王进 朴昌浩 《计算机工程》 CAS CSCD 北大核心 2022年第11期62-68,76,共8页
跨模态检索的目标是用户给定任意一个样本作为查询样例,系统检索得到与查询样例相关的各个模态样本,多模态细粒度检索在跨模态检索基础上强调模态的数量至少大于两个,且待检索样本的分类标准为细粒度子类,存在多模态数据间的异构鸿沟及... 跨模态检索的目标是用户给定任意一个样本作为查询样例,系统检索得到与查询样例相关的各个模态样本,多模态细粒度检索在跨模态检索基础上强调模态的数量至少大于两个,且待检索样本的分类标准为细粒度子类,存在多模态数据间的异构鸿沟及细粒度样本特征差异小等难题。引入模态特异特征及模态共享特征的概念,提出一种多模态细粒度检索框架MS2Net。使用分支网络及主干网络分别提取不同模态数据的模态特异特征及模态共享特征,将两种特征通过多模态特征融合模块进行充分融合,同时利用各个模态自身的特有信息及不同模态数据间的共性及联系,增加高维空间向量中包含的语义信息。针对多模态细粒度检索场景,在center loss函数的基础上提出multi-center loss函数,并引入类内中心来聚集同类别且同模态的样本,根据聚集类内中心来间接聚集同类别但模态不同的样本,同时消减样本间的异构鸿沟及语义鸿沟,增强模型对高维空间向量的聚类能力。在公开数据集FG-Xmedia上进行一对一与一对多的模态检索实验,结果表明,与FGCrossNet方法相比,MS2Net方法 mAP指标分别提升65%和48%。 展开更多
关键词 信息检索 多模态检索 细粒度检索 多模态表征学习 深度学习
在线阅读 下载PDF
Tomato Growth Height Prediction Method by Phenotypic Feature Extraction Using Multi-modal Data
9
作者 GONG Yu WANG Ling +3 位作者 ZHAO Rongqiang YOU Haibo ZHOU Mo LIU Jie 《智慧农业(中英文)》 2025年第1期97-110,共14页
[Objective]Accurate prediction of tomato growth height is crucial for optimizing production environments in smart farming.However,current prediction methods predominantly rely on empirical,mechanistic,or learning-base... [Objective]Accurate prediction of tomato growth height is crucial for optimizing production environments in smart farming.However,current prediction methods predominantly rely on empirical,mechanistic,or learning-based models that utilize either images data or environmental data.These methods fail to fully leverage multi-modal data to capture the diverse aspects of plant growth comprehensively.[Methods]To address this limitation,a two-stage phenotypic feature extraction(PFE)model based on deep learning algorithm of recurrent neural network(RNN)and long short-term memory(LSTM)was developed.The model integrated environment and plant information to provide a holistic understanding of the growth process,emploied phenotypic and temporal feature extractors to comprehensively capture both types of features,enabled a deeper understanding of the interaction between tomato plants and their environment,ultimately leading to highly accurate predictions of growth height.[Results and Discussions]The experimental results showed the model's ef‐fectiveness:When predicting the next two days based on the past five days,the PFE-based RNN and LSTM models achieved mean absolute percentage error(MAPE)of 0.81%and 0.40%,respectively,which were significantly lower than the 8.00%MAPE of the large language model(LLM)and 6.72%MAPE of the Transformer-based model.In longer-term predictions,the 10-day prediction for 4 days ahead and the 30-day prediction for 12 days ahead,the PFE-RNN model continued to outperform the other two baseline models,with MAPE of 2.66%and 14.05%,respectively.[Conclusions]The proposed method,which leverages phenotypic-temporal collaboration,shows great potential for intelligent,data-driven management of tomato cultivation,making it a promising approach for enhancing the efficiency and precision of smart tomato planting management. 展开更多
关键词 tomato growth prediction deep learning phenotypic feature extraction multi-modal data recurrent neural net‐work long short-term memory large language model
在线阅读 下载PDF
上一页 1 下一页 到第
使用帮助 返回顶部