-
题名基于图文多模态的欠驱动机器人设计方案评估方法研究
- 1
-
-
作者
孙军强
刘建国
刘涛
史青
-
机构
兰州理工大学机电工程学院
甘肃省特种设备安全技术检查中心
-
出处
《包装工程》
北大核心
2025年第12期50-59,共10页
-
基金
甘肃省自然科学基金项目(24JRRA710)。
-
文摘
目的针对传统欠驱动机器人设计方案评估方法在效率、准确性与自动化水平方面的不足,提出了一种基于图文多模态的大模型评估方法。方法首先,构建由结构参数、设计文本与结构图像组成的三模态输入体系,并对原始数据进行清洗、标准化与统一预处理;其次,分别利用多层感知机、预训练语言模型BERT与视觉Transformer对三类模态信息进行特征提取,并通过交叉注意力机制实现多模态深度融合;随后,设计非线性映射网络完成融合特征与功能性、安全性、控制性能等核心指标之间的建模关联;最后,借助本地部署的DeepSeek-VL R17B大型语言模型,自动生成结构化评估报告,实现从“特征理解”到“语义输出”的智能化转化。结果实验基于搭建的欠驱动机器人数据集,采用300组设计方案进行模型训练并以某型桥式吊车欠驱动系统设计为案例进行验证。结果表明,模型评估结果与专家打分之间的平均偏差为1.8%,相关性系数为0.94,自动生成的文本报告具备良好的专业性与工程实用性。结论所提出的评估方法融合多模态语义建模与语言生成能力,显著提升了欠驱动机器人设计方案评估的智能化、标准化与可解释性水平,为复杂工业装备的设计质量控制与智能决策提供了关键技术支撑。
-
关键词
图文多模态
欠驱动机器人
深度评估模型
交叉注意力机制
大语言模型
-
Keywords
multi-modal vision and text
underactuated robots
deep evaluation model
cross-attention mechanism
large language model
-
分类号
TB482
[一般工业技术—包装工程]
-
