-
题名基于文字识别与页面布局的APP控件识别算法
被引量：6
- 1
-
-
作者
丁世举
顾乃杰
黄章进
侯津
-
机构
中国科学技术大学计算机科学与技术学院
安徽省计算与通信软件重点实验室
-
出处
《计算机工程》
CAS
CSCD
北大核心
2019年第6期89-95,共7页
-
文摘
在移动应用的开发周期中,使用图形用户界面(GUI)自动化测试技术可提高APP的开发测试效率。针对基于录制回放的GUI自动化测试方法存在不适用黑盒测试场景或识别正确率较低等不足,提出基于图像文字识别和应用页面布局的控件识别算法。根据移动应用的页面布局结构和手势操作坐标精确识别控件,采用控件树遍历的方式解决遍历过程中的页面布局重叠问题。分别在Android和iOS2个平台进行实验,结果表明,与基于坐标和源代码的控件识别算法相比,该控件识别算法具有更高的正确率。
-
关键词
图形用户界面
自动化测试
控件识别
文字识别
页面布局
-
Keywords
Graphical User Interface(GUI)
automated testing
control recognition
text recognition
page layout
-
分类号
TP391
[自动化与计算机技术—计算机应用技术]
-
-
题名基于图像识别的移动端应用控件检测方法
被引量：5
- 2
-
-
作者
张文烨
-
机构
中国人民大学信息学院
-
出处
《计算机应用》
CSCD
北大核心
2020年第S01期157-160,共4页
-
文摘
为解决在浮窗等页面和控件重叠场景下,目前移动端应用常用的自动化测试技术无法准确识别待测控件的问题,基于计算机视觉和目标检测技术,提出一种新的移动端应用控件识别方法,将控件识别任务变换为目标检测任务。其次,采集应用的交互界面并标注其中的待测控件位置及类型,并使用多种主流目标检测模型在该数据集上进行训练和验证。最后,实现目标检测结果至Appium测试脚本的自动转换,使得基于目标检测技术的测试工具完全自动化运行成为可能。实验表明,所提方法可以有效识别待测控件,体现了对应用运行平台(Android/iOS)的鲁棒性,最高可取得0.634的平均精度均值(mAP)。
-
关键词
图形用户界面测试
自动化测试
控件识别
目标检测
-
Keywords
Graphical User Interface(GUI)testing
automated testing
component identification
object detection
-
分类号
TP311.56
[自动化与计算机技术—计算机软件与理论]
TP391.41
[自动化与计算机技术—计算机应用技术]
-
