[目的/意义]为了帮助用户在浩如烟海的社交媒体文本中快速获取所需信息,本研究创新地设计了一种基于过滤注意力机制的自动摘要生成模型Filter Unit Model(FUM)。[方法/过程]首先,采用微调BERT对于输入的社交媒体文本进行向量嵌入;其次,...[目的/意义]为了帮助用户在浩如烟海的社交媒体文本中快速获取所需信息,本研究创新地设计了一种基于过滤注意力机制的自动摘要生成模型Filter Unit Model(FUM)。[方法/过程]首先,采用微调BERT对于输入的社交媒体文本进行向量嵌入;其次,设计了过滤注意力机制来滤除嵌入社交媒体文本中的无用信息,基于字词层面和语句层面两种过滤注意力机制,旨在从不同角度对于嵌入向量进行过滤;最后,采用Transformer的解码器部分进行解码工作,并根据过滤注意力机制的不同设计相应的解码策略。[结果/结论]本研究在微博数据集上与摘要生成领域中经典、优秀的基线模型进行对比实验。实验结果表明,本研究所设计的FUM模型有着比其他基线方法更出色的表现。同时,基于语句层面的过滤注意力机制比基于字词层面的有更好的过滤效果。展开更多
文摘[目的/意义]为了帮助用户在浩如烟海的社交媒体文本中快速获取所需信息,本研究创新地设计了一种基于过滤注意力机制的自动摘要生成模型Filter Unit Model(FUM)。[方法/过程]首先,采用微调BERT对于输入的社交媒体文本进行向量嵌入;其次,设计了过滤注意力机制来滤除嵌入社交媒体文本中的无用信息,基于字词层面和语句层面两种过滤注意力机制,旨在从不同角度对于嵌入向量进行过滤;最后,采用Transformer的解码器部分进行解码工作,并根据过滤注意力机制的不同设计相应的解码策略。[结果/结论]本研究在微博数据集上与摘要生成领域中经典、优秀的基线模型进行对比实验。实验结果表明,本研究所设计的FUM模型有着比其他基线方法更出色的表现。同时,基于语句层面的过滤注意力机制比基于字词层面的有更好的过滤效果。
