基于多模态输入的实时3D英国手语虚拟人生成研究

【项目介绍】 聋人和听力障碍用户在公共交通、医疗保健和客户服务等领域面临持续障碍，这些领域的交互具有时间敏感性，且难以获得合格的手语翻译员。SilenceSpeaks正在开发AI手语虚拟人技术，将文本和语音翻译成手语视频。本博士项目将开发下一代流水线：基于多模态输入（语音/音频、英文文本和BSL手语词汇）的实时3D英国手语（BSL）虚拟人生成技术，实现在高影响力场景中的可扩展部署。

研究挑战在于在严格的延迟约束下，生成准确、时间连贯的手语动作，并呈现逼真的3D手部、面部和身体运动。在现有2D流水线基础上，本项目将研究模块化的端到端方法：（1）多模态条件控制，将语音/文本与BSL手语词汇对齐，并实现可控的时序；（2）使用基于扩散的生成模型和神经3D表示（如NeRF和/或3D Gaussian Splatting，和/或网格+骨骼绑定流水线）进行全身和精细手部动作的3D运动合成，并加入手语正确性和时间连贯性约束；（3）具有遮挡感知后处理、纹理/颜色一致性和伪影去除的实时3D虚拟人渲染；（4）面向交互部署的系统优化，包括蒸馏/量化和内存感知的PyTorch实现。

您将与巴斯大学（University of Bath）计算机科学系和Silence Speaks联合工作，获得工程支持、领域专家以及聋人社区的标注和评估资源，以建立BSL手语的真实基准。该项目预期产出适合顶级机器学习、计算机视觉和计算机图形学会议的发表研究成果，同时产出支持现实无障碍部署的转化成果。

【申请要求】 申请人应持有或预期获得计算机科学、机器学习或相关学科的一等荣誉学位或良好的二等一级荣誉学位（或同等学历）。必须具备扎实的Python和PyTorch技能，包括GPU/内存性能分析和优化。需要有3D渲染流水线和运动/姿态建模经验。有扩散模型经验者优先。熟悉神经3D表示（如NeRF和/或3D Gaussian Splatting）和面向部署的优化（蒸馏/量化）者具有优势。

【申请流程】 鼓励非正式咨询，请联系Dr Deblina Bhattacharjee。正式申请应在本广告截止日期前通过巴斯大学的计算机科学博士在线申请表提交。

重要提示：填写申请表时：

1. 在“Funding your studies”部分，选择“University of Bath URSA”作为您申请的学生奖学金。
2. 在“Your PhD project”部分，在相应框中引用本项目标题和主要导师姓名。 未能完成这两步将导致申请处理延迟，并可能导致您错过截止日期。

关于在巴斯大学申请博士的更多信息可在我们的网站上找到。

请注意：如果找到合适的候选人，本项目的申请可能会在广告截止日期之前提前关闭。因此建议您在申请前联系主要导师，并尽早提交正式申请。

项目关键词：British Sign Language；手语虚拟人；3D虚拟人生成；实时渲染；扩散模型；NeRF；3D Gaussian Splatting；多模态学习；无障碍；模型优化

【奖学金信息】 候选人可被考虑获得巴斯大学为期3年的学生奖学金。资助包括学费、生活津贴（2025/6年度为每年20,780英镑）和培训支持预算。

参考文献： Mildenhall et al., NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis, ECCV 2020. Kerbl et al., 3D Gaussian Splatting for Real-Time Radiance Field Rendering, SIGGRAPH 2023. Ho et al., Denoising Diffusion Probabilistic Models, NeurIPS 2020.