以ChatGPT为代表的大语言模型(large language model,LLM)因其强大的自然语言理解和生成能力在各领域中得到广泛应用.然而,深度学习模型在受到对抗样本攻击时往往展现出脆弱性.在自然语言处理领域中,当前对抗样本生成方法的研究通常使用...以ChatGPT为代表的大语言模型(large language model,LLM)因其强大的自然语言理解和生成能力在各领域中得到广泛应用.然而,深度学习模型在受到对抗样本攻击时往往展现出脆弱性.在自然语言处理领域中,当前对抗样本生成方法的研究通常使用CNN类模型、RNN类模型和基于Transformer结构的预训练模型作为目标模型,而很少有工作探究LLM受到对抗攻击时的鲁棒性并量化LLM鲁棒性的评估标准.以中文对抗攻击下的ChatGPT为例,引入了偏移平均差(offset average difference,OAD)这一新概念,提出了一种基于OAD的可量化的LLM鲁棒性评价指标OAD-based robustness score (ORS).在黑盒攻击场景下,选取9种基于词语重要性的主流中文对抗攻击方法来生成对抗文本,利用这些对抗文本攻击ChatGPT后可以得到每种方法的攻击成功率.所提的ORS基于攻击成功率为LLM面向每种攻击方法的鲁棒性打分.除了输出为硬标签的ChatGPT,还基于攻击成功率和以高置信度误分类对抗文本占比,设计了适用于输出为软标签的目标模型的ORS.与此同时,将这种打分公式推广到对抗文本的流畅性评估中,提出了一种基于OAD的对抗文本流畅性打分方法 OAD-based fluency score (OFS).相比于需要人类参与的传统方法,所提的OFS大大降低了评估成本.分别在真实世界中的中文新闻分类和情感倾向分类数据集上开展实验.实验结果在一定程度上初步表明,面向文本分类任务,对抗攻击下的ChatGPT鲁棒性分数比中文BERT高近20%.然而,ChatGPT在受到对抗攻击时仍会产生错误预测,攻击成功率最高可超过40%.展开更多
匿名网络旨在公开网络环境中保护用户通信隐私.自Chaum提出Mix网以来,相关研究在几十年中不断取得进展.如今,匿名网络已发展成以Mix网、DC网或PIR(private information retrieval)为基础,并结合多种设计要素,使之适用于各种应用场景和...匿名网络旨在公开网络环境中保护用户通信隐私.自Chaum提出Mix网以来,相关研究在几十年中不断取得进展.如今,匿名网络已发展成以Mix网、DC网或PIR(private information retrieval)为基础,并结合多种设计要素,使之适用于各种应用场景和威胁模型.从匿名概念出发,介绍匿名网络领域的发展情况,分类阐述代表性研究工作及其设计选择,并系统地从匿名性、延迟和带宽开销等角度进行分析.展开更多
文摘匿名网络旨在公开网络环境中保护用户通信隐私.自Chaum提出Mix网以来,相关研究在几十年中不断取得进展.如今,匿名网络已发展成以Mix网、DC网或PIR(private information retrieval)为基础,并结合多种设计要素,使之适用于各种应用场景和威胁模型.从匿名概念出发,介绍匿名网络领域的发展情况,分类阐述代表性研究工作及其设计选择,并系统地从匿名性、延迟和带宽开销等角度进行分析.
