设计反映真实世界NLP应用的基准测试

【项目介绍】 NLP基准测试强烈影响研究方向，但许多基准测试优先考虑便利性和排行榜表现，而非真实性、可用性和社会相关性。因此，基准测试分数往往对NLP系统在真实环境中的行为提供有限的洞察。本博士项目重新思考基准测试的设计、解释和使用方式，旨在更好地反映真实世界的语言使用和决策情境。

该项目并非提出单一的新基准测试，而是将基准测试设计本身作为一个研究问题，采取批判性和建设性的方法。它研究任务表述、数据集和评估指标如何影响研究结论、系统排名和关于进展的声明。

【研究目标与方法】 学生将分析翻译、摘要、教育NLP或其他语言技术领域的现有基准测试，识别关于用户、领域、交际目标和可接受错误的隐含假设。基于此分析，项目将设计替代性的基准测试方案，纳入更真实的输入、约束和评估标准。

方法将包括比较评估、压力测试和元评估，研究模型排名和结论在不同基准测试设计下如何变化。项目可能探索明确建模领域变化、受众差异、不确定性或风险敏感错误的基准测试，以及自动指标与人类判断之间的交互。

潜在应用领域包括但不限于教育、翻译、摘要、公共部门沟通或社会关怀，可能涉及高资源或低资源语言。虽然特定领域或语言可能被用作案例研究，但该项目旨在为整个NLP领域负责任且信息丰富的基准测试设计推导出通用原则。

【预期成果】

• 基于真实世界使用场景的新型基准测试设计
• 展示基准测试假设如何影响系统排名的元评估
• 公开发布的数据集和评估协议
• 立场论文和共享任务式资源

【关键词】 基准测试设计、评估方法论、应用NLP、鲁棒性、负责任AI

【申请要求】 学术要求：计算机或相关学科的2:1荣誉学士学位或硕士学位。具有适当专业经验的申请人也会被考虑。某些项目领域的研究需要学位级数学（或同等水平）。

语言要求：申请人必须证明英语语言能力。英语非第一语言的学生必须通过获得雅思总分至少6.5、各技能部分最低6.0的成绩来证明。

【申请材料】

• 研究计划：在申请的“Research Proposal”部分输入项目名称并上传个人研究计划，研究计划（包括参考文献和书目）不应超过2000字
• 个人陈述（作为大学申请表的一部分，或作为单独附件）
• 简历
• 资格证书和成绩单（原件和英文翻译，如适用）
• 2封学术推荐信
• 英语语言证明（如适用）

【申请流程】 如有兴趣，请首先发送简历联系Dr Fernando Alva Manchego (alvamanchegof@cardiff.ac.uk)。申请过程需要您与导师团队共同制定个人研究计划。在导师支持下制定研究计划后，请通过Cardiff University的Computer Science and Informatics - Study页面提交申请。在申请的资助字段中，注明“I am applying for a self-funded PhD in Computer Science and Informatics”，并在提供的文本框中注明本项目的标题和导师。

如果申请满足上述所有入学要求，您将被邀请参加面试。

【资助信息】 本项目仅面向自费学生，或拥有自己资助或奖学金的学生。如适用，候选人将被要求承担学生签证费用、医疗附加费以及前往英国学习的任何其他费用。这些费用不会由计算机科学与信息学院承担。

【学习模式】 全日制或非全日制