-
题名基于图文多模态的欠驱动机器人设计方案评估方法研究
- 1
-
-
作者
孙军强
刘建国
刘涛
史青
-
机构
兰州理工大学机电工程学院
甘肃省特种设备安全技术检查中心
-
出处
《包装工程》
北大核心
2025年第12期50-59,共10页
-
基金
甘肃省自然科学基金项目(24JRRA710)。
-
文摘
目的针对传统欠驱动机器人设计方案评估方法在效率、准确性与自动化水平方面的不足,提出了一种基于图文多模态的大模型评估方法。方法首先,构建由结构参数、设计文本与结构图像组成的三模态输入体系,并对原始数据进行清洗、标准化与统一预处理;其次,分别利用多层感知机、预训练语言模型BERT与视觉Transformer对三类模态信息进行特征提取,并通过交叉注意力机制实现多模态深度融合;随后,设计非线性映射网络完成融合特征与功能性、安全性、控制性能等核心指标之间的建模关联;最后,借助本地部署的DeepSeek-VL R17B大型语言模型,自动生成结构化评估报告,实现从“特征理解”到“语义输出”的智能化转化。结果实验基于搭建的欠驱动机器人数据集,采用300组设计方案进行模型训练并以某型桥式吊车欠驱动系统设计为案例进行验证。结果表明,模型评估结果与专家打分之间的平均偏差为1.8%,相关性系数为0.94,自动生成的文本报告具备良好的专业性与工程实用性。结论所提出的评估方法融合多模态语义建模与语言生成能力,显著提升了欠驱动机器人设计方案评估的智能化、标准化与可解释性水平,为复杂工业装备的设计质量控制与智能决策提供了关键技术支撑。
-
关键词
图文多模态
欠驱动机器人
深度评估模型
交叉注意力机制
大语言模型
-
Keywords
multi-modal vision and text
underactuated robots
deep evaluation model
cross-attention mechanism
large language model
-
分类号
TB482
[一般工业技术—包装工程]
-
-
题名基于图文多模态融合推理的产品创新方案设计方法研究
被引量：6
- 2
-
-
作者
马进
范明浩
马良山
胡洁
-
机构
上海交通大学感知科学与工程学院
上海交通大学设计学院
上海中软计算机系统工程有限公司
-
出处
《包装工程》
CAS
北大核心
2024年第8期21-28,共8页
-
基金
国家自然科学基金面上(52375254)
上海交通大学医工交叉项目(21X010301670)。
-
文摘
目的针对当前产品创新设计领域中对基于图像-文本多模态知识支撑创新设计方法研究不足的问题,提出了一套基于图文多模态的产品创新方案设计方法。方法首先,对设计师的设计草图与文本要求进行预处理,然后引入产品设计知识图谱来促进设计思维的发散和创新;其次,通过微调的生成式预训练变换器模型和扩散模型生成产品方案及其概念图;最后,利用深度多模态设计评估模型对产品设计方案的可行性和市场潜力进行评估。结果通过产品设计知识图谱,及深度多模态设计评估模型的引入,该设计流程可以生成富有创新性且具备可行性的产品方案。结论基于图文多模态的产品创新方案设计流程结合了最新的深度学习技术,不仅提高了设计的效率,还为设计师提供了更广阔的创新视角和灵感来源。
-
关键词
图文多模态
深度生成模型
知识图谱
产品创新设计
-
Keywords
multi-modal image and text
deep generative models
knowledge graph
innovative product design
-
分类号
TB472
[一般工业技术—工业设计]
-
