零样本图像分类解决了训练和测试数据类别不相交的问题,人类标注属性是一种常用的实现零样本图像分类的辅助知识.为协助专家设计类属性矩阵,提出了一种交互式构建方法,简化了烦琐且缺乏指导的流程.首先,通过一种基于概念的深度学习可解...零样本图像分类解决了训练和测试数据类别不相交的问题,人类标注属性是一种常用的实现零样本图像分类的辅助知识.为协助专家设计类属性矩阵,提出了一种交互式构建方法,简化了烦琐且缺乏指导的流程.首先,通过一种基于概念的深度学习可解释性方法,在训练集图像数据中提取出可理解的属性信息;然后,采用多视图协作的交互方式,探索和分析已提取属性的重要性.系统提供了全局和局部2种方式,辅助用户设计测试集数据类别的属性值;最后,通过在数据集Animals with Attributes2上进行的案例分析,以及采用李克特量表的用户评估实验,验证了设计方法的有效性和实用性,可以帮助专家用户高效且便捷地完成类属性构建工作.展开更多
借助离散神经音频编解码器的能力,大型语言模型(Large language model,LLM)已被广泛认为是一种零样本语音合成(Text-to-Speech,TTS)的潜在方法。然而,基于采样的解码策略虽然能够为语音生成带来丰富的多样性,但同时也引入了诸如拼写错...借助离散神经音频编解码器的能力,大型语言模型(Large language model,LLM)已被广泛认为是一种零样本语音合成(Text-to-Speech,TTS)的潜在方法。然而,基于采样的解码策略虽然能够为语音生成带来丰富的多样性,但同时也引入了诸如拼写错误、遗漏和重复等鲁棒性问题。为了解决上述问题,我们提出了VALL-E R,一个鲁棒且高效的零样本TTS系统,并以VALL-E为基础进行构建。具体而言,我们引入了一种音素单调对齐策略,通过约束声学标记与其对应的音素严格匹配,增强了音素与声学序列之间的映射关系,从而确保更精确的对齐。此外,我们采用编解码器合并的方法,在浅层量化层对离散码进行降采样,以减少解码计算量,同时保持语音输出的高质量。受益于这些策略,VALL-E R在音素可控性方面取得了显著提升,并通过逼近真实语音的词错误率展现了卓越的鲁棒性。此外,该系统仅需较少的自回归推理步骤,推理时间降低超过60%,极大提升了推理效率。展开更多
现有的大型语言模型(Large Language Models,LLMs)文本生成方法在面对缺乏大规模标注数据的特定领域时,缺少可学习的源域数据,这使得LLMs在处理特定术语和专业知识时容易产生虚假相关性问题。为解决这一问题,该文提出了一种基于自提示...现有的大型语言模型(Large Language Models,LLMs)文本生成方法在面对缺乏大规模标注数据的特定领域时,缺少可学习的源域数据,这使得LLMs在处理特定术语和专业知识时容易产生虚假相关性问题。为解决这一问题,该文提出了一种基于自提示因果推理增强的专家协作框架,通过建立领域知识提取模块,以挖掘LLMs固有的领域背景知识,并通过设计因果关系提取模块来增强LLMs的因果关系发现能力,进一步提高模型对因果关系信息的利用,从而有效减轻了跨域文本生成中的虚假相关性问题;同时通过训练多个解码头实现并行解码,以减少框架带来的额外时间开销。实验结果表明,该框架在问答任务中的LogiQA、CommonsenseQA和MedQA数据集上的Acc值相较于Llama2-70b基准模型分别提高了16.57%、7.94%和16.32%。同时在HotpotQA数据集和其他6个低资源领域数据集上表现优异,证实了自提示因果推理在提高跨域文本生成准确性和减少虚假相关性方面的有效性。展开更多
文摘零样本图像分类解决了训练和测试数据类别不相交的问题,人类标注属性是一种常用的实现零样本图像分类的辅助知识.为协助专家设计类属性矩阵,提出了一种交互式构建方法,简化了烦琐且缺乏指导的流程.首先,通过一种基于概念的深度学习可解释性方法,在训练集图像数据中提取出可理解的属性信息;然后,采用多视图协作的交互方式,探索和分析已提取属性的重要性.系统提供了全局和局部2种方式,辅助用户设计测试集数据类别的属性值;最后,通过在数据集Animals with Attributes2上进行的案例分析,以及采用李克特量表的用户评估实验,验证了设计方法的有效性和实用性,可以帮助专家用户高效且便捷地完成类属性构建工作.
文摘借助离散神经音频编解码器的能力,大型语言模型(Large language model,LLM)已被广泛认为是一种零样本语音合成(Text-to-Speech,TTS)的潜在方法。然而,基于采样的解码策略虽然能够为语音生成带来丰富的多样性,但同时也引入了诸如拼写错误、遗漏和重复等鲁棒性问题。为了解决上述问题,我们提出了VALL-E R,一个鲁棒且高效的零样本TTS系统,并以VALL-E为基础进行构建。具体而言,我们引入了一种音素单调对齐策略,通过约束声学标记与其对应的音素严格匹配,增强了音素与声学序列之间的映射关系,从而确保更精确的对齐。此外,我们采用编解码器合并的方法,在浅层量化层对离散码进行降采样,以减少解码计算量,同时保持语音输出的高质量。受益于这些策略,VALL-E R在音素可控性方面取得了显著提升,并通过逼近真实语音的词错误率展现了卓越的鲁棒性。此外,该系统仅需较少的自回归推理步骤,推理时间降低超过60%,极大提升了推理效率。
文摘现有的大型语言模型(Large Language Models,LLMs)文本生成方法在面对缺乏大规模标注数据的特定领域时,缺少可学习的源域数据,这使得LLMs在处理特定术语和专业知识时容易产生虚假相关性问题。为解决这一问题,该文提出了一种基于自提示因果推理增强的专家协作框架,通过建立领域知识提取模块,以挖掘LLMs固有的领域背景知识,并通过设计因果关系提取模块来增强LLMs的因果关系发现能力,进一步提高模型对因果关系信息的利用,从而有效减轻了跨域文本生成中的虚假相关性问题;同时通过训练多个解码头实现并行解码,以减少框架带来的额外时间开销。实验结果表明,该框架在问答任务中的LogiQA、CommonsenseQA和MedQA数据集上的Acc值相较于Llama2-70b基准模型分别提高了16.57%、7.94%和16.32%。同时在HotpotQA数据集和其他6个低资源领域数据集上表现优异,证实了自提示因果推理在提高跨域文本生成准确性和减少虚假相关性方面的有效性。
