移动应用是近10年来兴起的新型计算模式,深刻地影响人民的生活方式.移动应用主要以图形用户界面(graphical user interface,GUI)方式交互,而对其进行人工测试需要消耗大量人力和物力.为此,研究者提出针对移动应用GUI的测试自动生成技术...移动应用是近10年来兴起的新型计算模式,深刻地影响人民的生活方式.移动应用主要以图形用户界面(graphical user interface,GUI)方式交互,而对其进行人工测试需要消耗大量人力和物力.为此,研究者提出针对移动应用GUI的测试自动生成技术以提升测试效率并检测潜在缺陷.收集了145篇相关论文,系统地梳理、分析和总结现有工作.提出了“测试生成器-测试环境”研究框架,将该领域的研究按照所属模块进行分类.特别地,依据测试生成器所基于的方法,将现有方法大致分为基于随机、基于启发式搜索、基于模型、基于机器学习和基于测试迁移这5个类别.此外,还从缺陷类别和测试动作等其他分类维度梳理现有方法.收集了该领域中较有影响力的数据集和开源工具.最后,总结当前面临的挑战并展望未来的研究方向.展开更多
应用程序图形用户界面(graphical user interface,GUI/UI)为应用程序与其终端用户提供了一座可视化的桥梁,用户可以通过交互操作使用应用程序.随着移动应用程序的发展,兼具美学与交互设计的图形用户界面也变得越来越复杂,用户也更加关...应用程序图形用户界面(graphical user interface,GUI/UI)为应用程序与其终端用户提供了一座可视化的桥梁,用户可以通过交互操作使用应用程序.随着移动应用程序的发展,兼具美学与交互设计的图形用户界面也变得越来越复杂,用户也更加关注应用程序的可访问性和可用性.然而图形用户界面的复杂性也对其设计与实现带来巨大的挑战.由于用户对于移动设备的自定义设置以及不同的设备型号和屏幕分辨率导致用户界面显示问题频繁发生.例如由于软件或硬件兼容性,在不同设备上进行界面渲染时总会出现文本交叠、组件遮挡、图像丢失等显示问题.它们对应用程序的可用性和可访问性产生负面影响,导致用户体验不佳.不幸的是,对于移动应用程序用户界面显示问题的成因知之甚少.为了应对这一挑战,收集来自百度众测平台上的6729张具有用户界面显示缺陷的应用程序截图和GitHub中1016个缺陷报告提供的应用程序截图,采用主题分析方法识别出9类用户界面显示缺陷,然后对GitHub中1016个缺陷报告和其对应的缺陷代码进行分析,总结出用户界面显示缺陷本质成因.研究发现:(1)在众测数据集中用户界面显示缺陷截图占总截图的62.1%;(2)导致界面显示缺陷的原因中字体的缩放设置与组件的自适应设置不适配所占的比例较大;(3)界面的布局设置会导致界面显示缺陷产生;(4)硬件加速未开启会影响界面的正常显示.展开更多
移动平台上的应用软件私密信息泄露漏洞关注违背用户意愿的接口或数据暴露,而泄露形式和内容的复杂性增添了该类漏洞的检测难度.现有方法主要利用传统的静态数据流分析及动态监控等技术,易发生漏报和误报,且无法处理隐式信息泄露问题....移动平台上的应用软件私密信息泄露漏洞关注违背用户意愿的接口或数据暴露,而泄露形式和内容的复杂性增添了该类漏洞的检测难度.现有方法主要利用传统的静态数据流分析及动态监控等技术,易发生漏报和误报,且无法处理隐式信息泄露问题.该文首次将基于线性时序逻辑(Linear Temporal Logic,LTL)的模型检测技术应用于移动软件信息泄露检测上,提出了一种基于安全要素语句插装的泄露检测方法.文章首先针对代码中的安全要素提出一种信息泄露抽象关系模型;其次设计驱动生成规则和插装算法,在目标应用上生成可规约系统;继而设计具有通用意义的LTL泄露检测属性并利用符号执行技术优化检测算法;最后构建支持移动平台的模拟方法库,开发了原型检测系统(Leakage Finder of Android,LFDroid).公开数据集实验及对比分析表明,该文方法可以为含有隐式信息泄露数据集提供更为精确的漏洞检测,相较于传统方法准确率和召回率均具有明显优势,除此之外亦发现了3个真实移动应用的5个隐式泄露漏洞威胁.展开更多
文摘移动应用是近10年来兴起的新型计算模式,深刻地影响人民的生活方式.移动应用主要以图形用户界面(graphical user interface,GUI)方式交互,而对其进行人工测试需要消耗大量人力和物力.为此,研究者提出针对移动应用GUI的测试自动生成技术以提升测试效率并检测潜在缺陷.收集了145篇相关论文,系统地梳理、分析和总结现有工作.提出了“测试生成器-测试环境”研究框架,将该领域的研究按照所属模块进行分类.特别地,依据测试生成器所基于的方法,将现有方法大致分为基于随机、基于启发式搜索、基于模型、基于机器学习和基于测试迁移这5个类别.此外,还从缺陷类别和测试动作等其他分类维度梳理现有方法.收集了该领域中较有影响力的数据集和开源工具.最后,总结当前面临的挑战并展望未来的研究方向.
文摘移动应用可访问性(Mobile Application Accessibility)是指移动应用程序设计和实现的程度,目的是确保任何用户都能够轻松地访问和使用该应用。国内移动应用市场上的海量应用中支持无障碍功能的应用少之又少,与数量庞大且与日俱增的老年群体和视觉障碍群体追求享受数字时代红利、打破数字鸿沟的愿景产生矛盾。大规模语言模型(Large Language Model,LLM)在实现人类水平的智能方面表现出了巨大的潜力,通过提示词工程引导可以进行简单的逻辑推理和决策判断。此外,缩短交互路径是一种最为直观的移动应用可访问性增强方法。受到上述事实的启发,提出一种基于大规模语言模型的移动应用可访问性增强方法,创新性地应用可访问性服务和大语言模型,兼顾安全性、自动化和智能化。实现了一种移动应用可访问性辅助工具AccessLink,在非侵入式和用户授权的前提下,感知和操作移动应用的图形化用户界面,由此实现了基于自动化方法的数据集构建方法,并在构建的数据集上使用大模型GPT-3.5、GPT-4.0、通义千问和百川进行实验,证明了所提方法的有效性。
文摘应用程序图形用户界面(graphical user interface,GUI/UI)为应用程序与其终端用户提供了一座可视化的桥梁,用户可以通过交互操作使用应用程序.随着移动应用程序的发展,兼具美学与交互设计的图形用户界面也变得越来越复杂,用户也更加关注应用程序的可访问性和可用性.然而图形用户界面的复杂性也对其设计与实现带来巨大的挑战.由于用户对于移动设备的自定义设置以及不同的设备型号和屏幕分辨率导致用户界面显示问题频繁发生.例如由于软件或硬件兼容性,在不同设备上进行界面渲染时总会出现文本交叠、组件遮挡、图像丢失等显示问题.它们对应用程序的可用性和可访问性产生负面影响,导致用户体验不佳.不幸的是,对于移动应用程序用户界面显示问题的成因知之甚少.为了应对这一挑战,收集来自百度众测平台上的6729张具有用户界面显示缺陷的应用程序截图和GitHub中1016个缺陷报告提供的应用程序截图,采用主题分析方法识别出9类用户界面显示缺陷,然后对GitHub中1016个缺陷报告和其对应的缺陷代码进行分析,总结出用户界面显示缺陷本质成因.研究发现:(1)在众测数据集中用户界面显示缺陷截图占总截图的62.1%;(2)导致界面显示缺陷的原因中字体的缩放设置与组件的自适应设置不适配所占的比例较大;(3)界面的布局设置会导致界面显示缺陷产生;(4)硬件加速未开启会影响界面的正常显示.
文摘移动平台上的应用软件私密信息泄露漏洞关注违背用户意愿的接口或数据暴露,而泄露形式和内容的复杂性增添了该类漏洞的检测难度.现有方法主要利用传统的静态数据流分析及动态监控等技术,易发生漏报和误报,且无法处理隐式信息泄露问题.该文首次将基于线性时序逻辑(Linear Temporal Logic,LTL)的模型检测技术应用于移动软件信息泄露检测上,提出了一种基于安全要素语句插装的泄露检测方法.文章首先针对代码中的安全要素提出一种信息泄露抽象关系模型;其次设计驱动生成规则和插装算法,在目标应用上生成可规约系统;继而设计具有通用意义的LTL泄露检测属性并利用符号执行技术优化检测算法;最后构建支持移动平台的模拟方法库,开发了原型检测系统(Leakage Finder of Android,LFDroid).公开数据集实验及对比分析表明,该文方法可以为含有隐式信息泄露数据集提供更为精确的漏洞检测,相较于传统方法准确率和召回率均具有明显优势,除此之外亦发现了3个真实移动应用的5个隐式泄露漏洞威胁.
