传统机器人流程自动化(Robot Process Automation,RPA)主要使用操作系统和应用程序提供的接口获取图形用户界面(Graphical User Interface,GUI)控件,受操作系统和应用程序接口限制,但一些系统,如Linux,不提供获取控件信息的接口.提出一...传统机器人流程自动化(Robot Process Automation,RPA)主要使用操作系统和应用程序提供的接口获取图形用户界面(Graphical User Interface,GUI)控件,受操作系统和应用程序接口限制,但一些系统,如Linux,不提供获取控件信息的接口.提出一种基于神经网络对图形界面控件进行识别的方法,利用目标检测模型提取图形用户界面控件特征,在不使用操作系统接口的前提下识别图形用户界面内控件类别和几何信息,减少RPA对于系统与程序接口的依赖.同时,针对桌面端图形用户界面数据集缺失的问题,提出一种针对RPA领域桌面端图形用户界面目标检测数据集的生成方法.在该图形用户界面数据集上使用各类目标检测模型进行测试,结果显示,常用目标检测模型在识别用户界面控件的类别和几何信息时均能获得92%以上的准确率.展开更多
当深度神经网络(DNN)遇到训练时未遇见的类别的样本时,不能准确地拒绝未知类样本,而开集识别能在准确分类已知类样本同时拒绝未知类样本。目前在开集识别领域,原型学习方法广为应用,然而这些方法都无法同时保证样本分布内的紧凑性和样...当深度神经网络(DNN)遇到训练时未遇见的类别的样本时,不能准确地拒绝未知类样本,而开集识别能在准确分类已知类样本同时拒绝未知类样本。目前在开集识别领域,原型学习方法广为应用,然而这些方法都无法同时保证样本分布内的紧凑性和样本分布间的分离性。因此,提出开放生成与特征优化的开集识别方法(OGFO)。首先,提出开放点的概念,原型点通过DNN学习对应类别样本的固有特征而开放点是各类别原型点的均值。开放点代表未知类的固有特征且占据特征空间的中心区域。特征空间中心区域为未知类样本分布的开放空间;其次,提出基于开放点的特征优化算法(FOA),从而利用开放点强迫相同类别样本内部的分布更加紧凑并且迫使不同类别样本间的分布更加分离;最后,提出基于开放点的生成方法 OGAN(Open Generative Adversarial Network),并使用DNN迫使OGAN生成的未知类样本分布在开放点占据的开放空间中。实验结果表明,相较于基于对抗性反向点学习的开集识别方法(ARPL),OGFO在MNIST、SVHN、CIFAR10和TinyImageNet数据集上的AUROC(Area Under the Receiver Operating Characteristic curve)提升明显,尤其在TinyImageNet数据集上的AUROC上至少提升了3个百分点,在准确率和OSCR(Open Set Classification Rate)上分别至少提升6和5个百分点。可见,OGFO解决了其他方法无法兼顾样本分布内的紧凑性和样本分布间的分离性的问题。展开更多
文摘传统机器人流程自动化(Robot Process Automation,RPA)主要使用操作系统和应用程序提供的接口获取图形用户界面(Graphical User Interface,GUI)控件,受操作系统和应用程序接口限制,但一些系统,如Linux,不提供获取控件信息的接口.提出一种基于神经网络对图形界面控件进行识别的方法,利用目标检测模型提取图形用户界面控件特征,在不使用操作系统接口的前提下识别图形用户界面内控件类别和几何信息,减少RPA对于系统与程序接口的依赖.同时,针对桌面端图形用户界面数据集缺失的问题,提出一种针对RPA领域桌面端图形用户界面目标检测数据集的生成方法.在该图形用户界面数据集上使用各类目标检测模型进行测试,结果显示,常用目标检测模型在识别用户界面控件的类别和几何信息时均能获得92%以上的准确率.
文摘当深度神经网络(DNN)遇到训练时未遇见的类别的样本时,不能准确地拒绝未知类样本,而开集识别能在准确分类已知类样本同时拒绝未知类样本。目前在开集识别领域,原型学习方法广为应用,然而这些方法都无法同时保证样本分布内的紧凑性和样本分布间的分离性。因此,提出开放生成与特征优化的开集识别方法(OGFO)。首先,提出开放点的概念,原型点通过DNN学习对应类别样本的固有特征而开放点是各类别原型点的均值。开放点代表未知类的固有特征且占据特征空间的中心区域。特征空间中心区域为未知类样本分布的开放空间;其次,提出基于开放点的特征优化算法(FOA),从而利用开放点强迫相同类别样本内部的分布更加紧凑并且迫使不同类别样本间的分布更加分离;最后,提出基于开放点的生成方法 OGAN(Open Generative Adversarial Network),并使用DNN迫使OGAN生成的未知类样本分布在开放点占据的开放空间中。实验结果表明,相较于基于对抗性反向点学习的开集识别方法(ARPL),OGFO在MNIST、SVHN、CIFAR10和TinyImageNet数据集上的AUROC(Area Under the Receiver Operating Characteristic curve)提升明显,尤其在TinyImageNet数据集上的AUROC上至少提升了3个百分点,在准确率和OSCR(Open Set Classification Rate)上分别至少提升6和5个百分点。可见,OGFO解决了其他方法无法兼顾样本分布内的紧凑性和样本分布间的分离性的问题。
