面向以人为中心机器人的多模态大语言模型博士项目

项目概览

University of Southampton 工程与物理科学学部招收“面向以人为中心机器人的多模态大语言模型”博士生，主导师为 Dr Tan Viet Tuyen Nguyen。研究将视觉、语言、音频与其他传感信息结合，使机器人理解人与环境的互动情境，并以自然、适应性强且考虑上下文的方式回应人类需求。项目面向英国及国际申请者，属于竞争性资助，公布截止日期为2027年3月31日；在线申请选择2027/28学年。

项目详情

机器人正逐步进入教育、医疗、工作场所及个人生活等日常场景。在这些共享环境里，仅完成预设动作还不够：机器人需要与人有效协作，增强人的能力，把人的需求放在研究设计的中心，并能够融入具体生活情境。这些应用背景说明了研究动机，并不表示博士期间会同时在全部场景实施部署或开展医疗试验。

博士课题拟开发一个多模态大语言模型框架。输入包括视觉、语言、音频和其他感知数据，来自机器人周围环境以及正在互动的使用者。研究重点是让机器人感知这些不同形式的信号，综合建立对互动上下文的理解，再选择恰当的回应。输出既可能是动作，也可能是语音或视觉呈现；因此，课题同时涉及多模态感知、上下文理解和多种沟通渠道之间的衔接，而不局限于文本问答。

框架的目标是支持自然、可适应和以人为中心的人机互动。在日常交流中，不同感知来源需要共同帮助机器人理解当前发生了什么、人与环境处于怎样的互动关系，以及怎样通过合适的沟通形式作出反应。项目介绍尚未指定必须采用的基础模型、机器人型号、数据集、对比方法或评价指标，这些细节需与导师共同明确，不能把某一种热门架构视为既定任务。

研究生有机会与 Agents, Interaction, and Complexity 研究组、Centre for Robotics 及 Responsible AI 项目团队的研究者合作。学校将提供高性能计算机和多种机器人平台以支持研究，并期望博士工作形成高水平期刊和会议成果。这里说明的是研究环境和成果方向，尚未列出具体算力配额、机器人使用时间、共同导师分工或保证发表的期刊会议。

申请要点

学历要求为英国二等一荣誉本科学位或国际同等学历。必须具备扎实的 Python 编程与机器学习技能，并对机器学习和机器人交叉方向有强烈兴趣。已有大语言模型、多模态学习及机器人实践经验属于加分条件，不应理解为每位申请者都必须同时具备全部经验。

英国和国际生均有可竞争的资助机会。学校院系的竞争性 studentship 通常为排名靠前的候选人提供英国本土标准学费和生活津贴；国际生与英国本土标准学费之间的差额，需要另行确认覆盖。项目提到符合条件者可获得 Horizon Europe 学费差额减免，以及为优秀申请者设置的竞争性 Presidential Bursaries；这些减免具有各自资格条件，并不代表所有国际生自动获得全额学费与生活费。资助滚动分配，尽早提交有助于争取考虑，但不构成获奖保证。公布信息没有给出本课题的具体生活津贴金额或资助年限。

在线申请需选择研究学位、2027/28学年、全日制或非全日制、Faculty of Engineering and Physical Sciences，并搜索 PhD Computer Science（7089）；在申请第二部分填写导师姓名。材料包括研究计划、CV、两份学术推荐信、现有学位成绩单与证书，以及适用时的英语语言证明。申请事务联系 Doctoral College：doctoralcollege-admissions@soton.ac.uk；项目研究交流联系 Dr Tan Viet Tuyen Nguyen：tuyen.nguyen@soton.ac.uk。

学院欢迎不同性别、族裔、残障情况、性取向和年龄的申请者，并考虑灵活工作安排和有职业中断经历的人士。介绍提及 Athena SWAN、校内托育、产假政策及学校可持续发展 Platinum EcoAward；其中雇员福利是否适用于本博士学生身份，需要按具体政策核实。

需要进一步确认

申请前应核对国际学历等值标准、适用的英语要求，以及2027/28具体入学时间。优先向导师确认资助竞争批次、生活津贴与资助期限、海外学费差额是否全部覆盖，再讨论研究初始场景、机器人及算力安排、人类参与者数据与伦理审批、日常指导和合作方式。截止日不代表资助名额会保留到最后一天。

多模态大语言模型与以人为中心的机器人：博士项目深度调研

从理解人到恰当回应，资金需先落实

Southampton 的课题把多模态理解与机器人的实际回应连接起来：机器人需要结合动作、语音与视觉呈现，与人交流。优势是导师已有用户感知、人机协作与多模态行为研究。研究更重视扎实的 Python、机器学习能力，以及对真实互动的研究兴趣。主要限制在资金：这是竞争性资助项目，尚未公布本课题津贴金额及资助期限。官方截止为2027年3月31日，申请2027/28学年；资助滚动分配，应尽早核实竞争批次和国际生学费覆盖。Official multimodal human-centred robots PhD

研究问题与博士工作

框架从使用者和环境获取视觉、语言、音频及其他传感信号，理解互动情境，再生成合适的动作、语音或视觉回应。教育、医疗、办公和个人生活是应用背景，不能视为已经落实的部署地点。项目提供高性能计算及机器人平台，计划与 AIC、Centre for Robotics 和 Responsible AI 团队合作，并形成期刊、会议成果；没有保证发表。Official multimodal human-centred robots PhD

不同模态的信号可能不同步或缺失，如何据此作出恰当回应，是研究难点。语言流畅并不代表互动合适，机器人仍可能打断使用者或采取不合时宜的动作。基于研究分析，可先选一个可控互动场景，对比仅文本、视觉语言和加入音频/行为线索的方案，同时评价任务完成、回应延迟、恰当性与用户体验。以上属于研究构想，并非公告规定的任务；按参与者划分测试数据，有助于区分识别人和理解互动。

比较还需区分感知失败、上下文推理错误与回应选择错误，才能解释新增模态究竟改善了交流，还是只增加了系统复杂度。一个预设任务上的成功，并不能证明机器人已能应对日常生活。博士计划需要给出可检验的边界，同时保留算法评价与人的体验之间的联系。

OpenVLA 展示了视觉语言动作模型在操控任务上的迁移能力，可作为领域参照；它本身不解决音频、对话和社会互动恰当性。博士的潜在贡献正是在具身行为和人的感受之间建立更可靠的连接。基础模型、演示数据、输出约束，以及模型开发与用户研究的比例，仍待确定。OpenVLA2024 original research

学校、学科与培养

学位为英国 University of Southampton 的 Computer Science PhD，代码7089，所属 ECS 和工程与物理科学学部。公告对应研究生培养，未列雇佣合同或联合学位。计算机博士全日制注册期限为2–4年，非全日制3–7年；这是论文提交期限范围，不表示两年毕业或全程有资助。具体培养节点及获资助年限须确认。Electronics and Computer Science research degrees

ECS 的方向包括机器人、以人为中心的 AI 与机器学习；学院援引 REF 2021 的世界领先影响与环境评价，不能扩展为所有科研成果。AIC 的人在回路、推理研究和机器人中心的感知、控制、交互专长，与本课题关系更直接。QS 2027综合排名为并列111，2026为87，均不是机器人学科排名。Doctoral College 提供职业发展、身心支持及博士就业服务，具体培训要求还需落实。School of Electronics and Computer Science Agents, Interaction and Complexity research Centre for Robotics research environment QS University of Southampton profile Doctoral College training and support

导师、论文与研究条件

Dr Tan Viet Tuyen Nguyen 为 AI 方向 New Frontiers Fellow/Lecturer，官方主页明确接受博士申请，研究社会人机互动、多模态感知和以人为中心的 AI，曾参与 KCL 的 LISI 与 JAIST 的 CARESSES。他是本项目主导师，合作研究者不能自动视为共同导师。Tan Viet Tuyen Nguyen staff profile

三篇2025年共同作者论文形成连贯基础。HRI-SENSE 将非语言行为、对话、机器人动作和主观评价同步记录，覆盖逾6小时、146次互动和18名参与者，适合研究感知与体验之间的关系；参与人数和任务范围有限，不能直接推及不同人群与场景。另读数据集文档可见部分模态因传感或处理问题缺失，因此缺失数据并非纯理论问题。HRI-SENSE conference paper2025 HRI-SENSE dataset documentation

User-Aware Collaborative Learning 将挫折感建模与偏好学习、多臂老虎机和背包方法结合，包含模拟及 TIAGo 用户研究，说明行为决策需要同时考虑人的体验，但它不是 LLM 研究。RoboButler 研究有限反馈下的办公用户定位，采用 Gazebo/TIAGo 与图模拟；挫折感改善来自模拟模型，不能写成真实部署的人群效果。上述判断依据公开摘要，支持导师方法与评价经验，不代表拟议多模态框架已完成。User-Aware Collaborative Learning in Human-Robot Interactions2025 RoboButler2025 accepted paper

Responsible AI 生态提供相关交流环境，不代表本博士由该计划出资或获得其成员指导。具体机器人使用、GPU配额、技术支持、参与者招募及伦理安排尚未公开固定。Southampton responsible AI research ecosystem

资助、申请与生活预算

院系竞争资助通常为入选者提供英国本土标准学费与生活津贴，国际生差额需另覆盖。学校通用指南明确区分仅学费支持与学费加生活费；最终以正式奖学金通知为准。Official multimodal human-centred robots PhD Southampton PhD funding guidance

Presidential Bursaries 只覆盖海外与本土学费差额，要求一等本科或同等成绩、已接受博士录取，并在2027年8月1日至2028年1月31日入学。按项目申请日期先到先得，由学部代办；操作说明另将起始年写为2026，需确认。Horizon Europe 减免最长3.5年，要求录取、同一2027–28入学窗口及合资格国家永久居住规则：通常已居住至少3年，不计仅为学习而在外居住。中国大陆不在名单内，不能默认适用。两种减免本身都不提供本土学费和生活津贴。Presidential bursaries current policy Horizon Europe fee waiver current policy

仅作尺度参照，UKRI 2026/27最低津贴为每年£21,805，学费标准£5,238，均不是本项目获奖额或2027/28报价。按学校生活费分项估算，私人租房每周合计£327；宿舍扣除已包含的水电、Wi-Fi、公交与洗衣后约£319–400。按52周约£17,004或£16,588–20,800。这是预算情景，不能推算未来余款；签证、搬迁、押金、家属和学费差额还需单列。UKRI stipend and fee benchmark Southampton student living costs

必需条件、优先经验与准备建议

必须有英国二等一荣誉本科或国际同等学历，扎实 Python 与机器学习能力，并对机器学习和机器人交叉研究有强烈兴趣。LLM、多模态学习和机器人经验是加分项；公告没有明确要求硕士。ECS 一般英语要求 IELTS 6.5、各项6.0，证书两年内有效，等值证明或豁免按个案确认。Official multimodal human-centred robots PhD Electronics and Computer Science research degrees

可用可复现实验、清晰的模态对比及用户评价思考证明研究能力；这些是分析建议，不是新增门槛。能力可延伸至 HRI、具身 AI、多模态机器学习和科研工程。英国政府分析同时指出机器人跨行业机会和落地、技能、商业化难点，不能据此承诺本项目毕业去向或薪资。Government Office for Science Robotics assessment

下一步与待确认问题

申请前向 tuyen.nguyen@soton.ac.uk 确认资助批次、津贴期限、国际学费组合与入学时间，并核对截止日和更早的资助轮次。在线选择研究学位、2027/28、工程与物理科学学部、Computer Science PhD 7089及学习模式，第二部分写导师。材料含研究计划、CV、两份学术推荐、成绩单/证书及适用英语证明；行政联系 doctoralcollege-admissions@soton.ac.uk。Official multimodal human-centred robots PhD

面试讨论初始互动场景、模型与数据基线、导师分工、机器人/GPU使用和人类研究审批。接受录取前取得完整学费、津贴、年限、研究经费与延期条款，再按实际住宿及签证搬迁成本核算，据此确定研究计划和就读预算。

证据与来源

项目、学校与培养

• Official multimodal human-centred robots PhD
• Electronics and Computer Science research degrees
• School of Electronics and Computer Science
• QS University of Southampton profile
• Doctoral College training and support

导师、研究环境与论文

• Tan Viet Tuyen Nguyen staff profile
• Agents, Interaction and Complexity research
• Centre for Robotics research environment
• HRI-SENSE conference paper2025
• User-Aware Collaborative Learning in Human-Robot Interactions2025
• RoboButler2025 accepted paper
• HRI-SENSE dataset documentation
• Southampton responsible AI research ecosystem
• OpenVLA2024 original research

资助、成本与职业环境

• Southampton PhD funding guidance
• Presidential bursaries current policy
• Horizon Europe fee waiver current policy
• Southampton student living costs
• UKRI stipend and fee benchmark
• Government Office for Science Robotics assessment