基于校准多模态验证的机器人规划与操作防幻觉研究

【项目介绍】 大型多模态模型正日益被用作机器人技术中的高级“认知”模块，将自然语言指令转化为计划、解释和中间目标表示。它们的流畅性和广泛知识使其在泛化方面具有强大能力，但也可能产生幻觉，即模型输出与机器人在当前场景中可验证的内容之间存在不匹配。如果计划假设了一个不存在的物体、遗漏了障碍物或改变了物体属性，机器人可能会抓取空白空间、发生碰撞或遵循不可行的轨迹。当目标状态以图像形式生成时，这种风险变得更加尖锐，因为诸如添加或移除物体等隐性变化可能会悄然进入规划过程。

本博士项目通过在语言、视觉、状态和其他模态之间强制执行可操作的一致性来减少幻觉。第一个目标是通过将跨模态不一致性与计划可执行性和任务结果联系起来，使机器人技术中的幻觉可测量。第二个目标是构建一个用于子目标和目标表示的物体保守生成流程，严格要求保持物体身份和数量不变，并确保关键属性和空间关系保持有效。第三个目标是开发一个基准测试和评估流程，支持跨方法和任务的可重复比较。

该方法从基于感知的以物体为中心的世界模型出发，包括实例分割、跟踪和作为可验证事实的场景图。规划和目标生成在提议、验证和修复的循环中运行。模型提出计划或目标状态，多模态验证器根据场景图检查物体守恒、属性一致性和关系约束，同时保持校准的不确定性。如果输出与感知相矛盾，系统会应用约束解码或通过重新生成或约束编辑进行修复。如果用户指令不够明确，验证器会揭示缺失的信息，系统会提出最小化的澄清问题而不是猜测，因此歧义的处理方式与幻觉不同。

研究将在物体操作和室内导航上进行，使用捕捉物体添加和删除、属性和关系一致性以及任务成功率的指标。该工作还将产生一个包含受控失败案例的小型基准测试和一个评估流程，以支持可重复比较。实验将包括至少三个代表性任务，并与常用的生成和规划基线进行比较。

关键词：multimodal models、hallucination、grounding、robotics、multimodal planning、scene graph、diffusion models、constrained generation、verification、object manipulation

【申请要求】 学术要求：计算机或相关学科的二等一级荣誉学士学位或硕士学位。具有适当专业经验的申请人也会被考虑。某些项目领域的研究需要学位水平的数学（或同等学历）。

语言要求：申请人必须证明英语语言能力。英语非第一语言的学生必须获得IELTS总分至少6.5分，每个技能部分最低6.0分。接受的资格完整列表请见：https://www.cardiff.ac.uk/study/international/english-language-requirements/postgraduate

【申请材料】 请通过Cardiff University的Computer Science and Informatics - Study页面提交申请。在申请的资助字段中，请注明“我正在申请Computer Science and Informatics的自费博士学位”，并在提供的文本框中注明本项目的标题和导师。

所需材料包括：

1. 研究计划：在申请的“Research Proposal”部分输入您申请的项目名称并上传个人研究计划，研究计划不应超过2000字（包括参考文献和书目）
2. 个人陈述（作为大学申请表的一部分，或作为单独的附件）
3. 简历（关于博士职位简历的指导可在FindAPhD网站找到）
4. 资格证书和成绩单——原件和英文翻译（如适用）
5. 学术推荐信2封（需将推荐文件作为申请的一部分提供）
6. 英语语言证明（如适用）

【面试】 如果申请符合上述所有入学要求，您将被邀请参加面试。

【资助信息】 本项目仅面向自费学生或拥有自己赞助或奖学金的学生。如适用，候选人将被要求承担学生签证费用、医疗附加费以及前往英国学习的任何其他费用。这些费用将不由School of Computer Science and Informatics承担。

【联系方式】 如有兴趣，请首先联系Yi Zhou博士（zhouy131@cardiff.ac.uk）并发送您的简历。申请过程要求您与指导团队共同制定个人研究计划，该计划应基于本广告中提供的信息。

学习模式：全日制或非全日制