为解决深度学习预测模型在数据不足时准确性受限的问题,提出一种结合Transformer的交叉注意力(cross-attention in Transformer,CATrans)机制和域分离网络(domain separation networks,DSN)的深度迁移学习方法——CATrans-DSN,用于短期...为解决深度学习预测模型在数据不足时准确性受限的问题,提出一种结合Transformer的交叉注意力(cross-attention in Transformer,CATrans)机制和域分离网络(domain separation networks,DSN)的深度迁移学习方法——CATrans-DSN,用于短期跨建筑负荷预测。CATrans特征提取器利用注意力机制来学习源域和目标域负荷数据的域共有和私有时间特征,并利用共有特征进行知识迁移;特征重构器作为辅助模块,对源域和目标域数据进行数据重构;由回归预测器将学习到的特征转化为预测值。最后,利用在源域和目标域上训练得到的建筑负荷预测模型,直接用于目标建筑的负荷预测。实验结果表明,所提出的方法有效地提高了数据稀缺情况下的预测准确性和模型泛化能力。展开更多
为缓解跨域推荐中目标域数据稀疏和冷启动问题,综合增强嵌入、嵌入迁移、注意力机制调整和跨域推荐技术,提出一种融合深度特征提取和注意力机制的跨域推荐模型(cross-domain recommendation model of deep feature extraction and atten...为缓解跨域推荐中目标域数据稀疏和冷启动问题,综合增强嵌入、嵌入迁移、注意力机制调整和跨域推荐技术,提出一种融合深度特征提取和注意力机制的跨域推荐模型(cross-domain recommendation model of deep feature extraction and attention mechanism,CRDFEAM).利用潜在因子模型将类型相似度合并到矩阵分解过程,挖掘项目类型的隐性偏好.相比评分这一显性偏好,项目类型能更充分获取用户特征.在跨域迁移时,用分布对齐方式使域间差异最小化,以减少两个领域特征之间的数据分布差异.相对于直接迁移,分布对齐方式具有更强的可解释性.在特征调整过程中,引入多层感知机(multilayer perceptron,MLP)映射,并使用注意力机制进一步调整用户特征,使源域中没有出现过的目标域用户注意到源域用户的特征信息,同时也使源域中出现过的目标域用户注意到目标域中的项目特征信息.在真实数据集Movielens(M)、Netflix(N)和Douban(D)上的实验验证结果表明,引入MLP映射嵌入的CRDFEAM+模型的均方根误差(root mean square error,RMSE)值较基准模型跨域潜在特征映射(cross-domain latent feature mapping,CDLFM)平均提升9.88%,平均绝对误差(mean absolute error,MAE)值平均提升11.14%.研究验证了CRDFEAM+模型的跨域推荐效果,能够更充分地提取用户特征,有效缓解目标域信息不足问题.展开更多
文摘为解决深度学习预测模型在数据不足时准确性受限的问题,提出一种结合Transformer的交叉注意力(cross-attention in Transformer,CATrans)机制和域分离网络(domain separation networks,DSN)的深度迁移学习方法——CATrans-DSN,用于短期跨建筑负荷预测。CATrans特征提取器利用注意力机制来学习源域和目标域负荷数据的域共有和私有时间特征,并利用共有特征进行知识迁移;特征重构器作为辅助模块,对源域和目标域数据进行数据重构;由回归预测器将学习到的特征转化为预测值。最后,利用在源域和目标域上训练得到的建筑负荷预测模型,直接用于目标建筑的负荷预测。实验结果表明,所提出的方法有效地提高了数据稀缺情况下的预测准确性和模型泛化能力。
文摘为缓解跨域推荐中目标域数据稀疏和冷启动问题,综合增强嵌入、嵌入迁移、注意力机制调整和跨域推荐技术,提出一种融合深度特征提取和注意力机制的跨域推荐模型(cross-domain recommendation model of deep feature extraction and attention mechanism,CRDFEAM).利用潜在因子模型将类型相似度合并到矩阵分解过程,挖掘项目类型的隐性偏好.相比评分这一显性偏好,项目类型能更充分获取用户特征.在跨域迁移时,用分布对齐方式使域间差异最小化,以减少两个领域特征之间的数据分布差异.相对于直接迁移,分布对齐方式具有更强的可解释性.在特征调整过程中,引入多层感知机(multilayer perceptron,MLP)映射,并使用注意力机制进一步调整用户特征,使源域中没有出现过的目标域用户注意到源域用户的特征信息,同时也使源域中出现过的目标域用户注意到目标域中的项目特征信息.在真实数据集Movielens(M)、Netflix(N)和Douban(D)上的实验验证结果表明,引入MLP映射嵌入的CRDFEAM+模型的均方根误差(root mean square error,RMSE)值较基准模型跨域潜在特征映射(cross-domain latent feature mapping,CDLFM)平均提升9.88%,平均绝对误差(mean absolute error,MAE)值平均提升11.14%.研究验证了CRDFEAM+模型的跨域推荐效果,能够更充分地提取用户特征,有效缓解目标域信息不足问题.
