构建可扩展且可靠的NLP系统人工评估框架研究

【项目介绍】

人工评估仍然是评估现代自然语言处理（NLP）系统的核心组成部分，特别是在正确性、有用性或适当性无法被自动指标完全捕捉的任务中。然而，现有的人工评估实践往往成本高昂、不一致、难以复现，且难以适应当代NLP系统的规模和多样性。本博士项目研究如何将人工评估重新设计为NLP研究中可扩展、可靠且方法论严谨的组成部分。

本项目将人工评估本身视为一个研究问题，而非辅助步骤。研究重点在于评估协议的设计、实施和解释，以及它们如何与自动指标和基于模型的评估方法相互作用。

【研究目标与方法】

学生将在一系列NLP任务中设计、实施并实证测试人工评估框架，例如翻译质量评估、摘要评估、教育反馈生成或其他文本生成与转换任务。这些任务仅为示例，项目不局限于任何单一应用领域，允许候选人根据自身兴趣塑造和推动研究方向。

研究将比较不同的评估设置，包括基于专家、基于众包和混合方法。将考察任务设计选择的影响，如结构化评分标准的使用、成对或列表比较、自适应任务分配以及标注员培训和校准。项目还将研究聚合方法、一致性测量和质量控制策略，旨在提高人工判断的可靠性和可解释性。

此外，项目可能探索如何以原则性方式将人工评估与自动指标或基于模型的评判相结合，以及如何通过元评估刻画每种方法的优势和局限性。潜在应用领域包括但不限于教育、翻译、摘要、公共部门沟通或社会关怀，可能涉及高资源或低资源语言。

【预期成果】

• 适用于NLP任务的通用人工评估框架 • 关于评估可靠性、成本和可扩展性权衡的实证研究 • 用于运行和分析大规模人工评估的开源工具 • 具有精心设计和记录的人工标注的公开数据集

【关键词】

人工评估、NLP方法论、标注设计、可靠性、可扩展性、人机对齐、以人为中心的AI方法

【申请要求】

学术条件： • 计算机或相关学科的二等一荣誉学士学位或硕士学位。具有适当专业经验的申请人也会被考虑。某些项目领域的研究需要学位水平的数学（或同等学历）。 • 申请人必须证明英语语言能力。非英语母语的学生须通过雅思考试证明，总分至少6.5，各技能部分最低6.0。接受的资格证书完整列表请见：https://www.cardiff.ac.uk/study/international/english-language-requirements/postgraduate

【申请材料】

通过Cardiff University计算机科学与信息学页面提交申请。在申请的资金字段中注明“我正在申请计算机科学与信息学自费博士”，并在文本框中注明本项目标题和导师。

需提交以下材料： • 在“研究计划”部分输入申请的项目名称，并上传个人研究计划（不超过2000字，含参考文献） • 个人陈述（作为申请表一部分或单独附件） • 简历（博士职位简历指导可在FindAPhD网站找到） • 资格证书和成绩单（原件及英文翻译，如适用） • 两封学术推荐信（需作为申请的一部分提供） • 英语语言证明（如适用）

【面试】

如果申请满足上述所有入学要求，将被邀请参加面试。

【资助信息】

本项目仅面向自费学生，或拥有自己赞助或奖学金的候选人。如适用，候选人需承担学生签证费用、医疗保健附加费及前往英国学习的其他费用。这些费用不会由计算机科学与信息学学院承担。

【联系方式】

如有兴趣，请联系Fernando Alva Manchego博士（alvamanchegof@cardiff.ac.uk），首先发送您的简历。申请过程要求您与指导团队共同制定个人研究计划，该计划应基于本广告中提供的信息。

【相关文献】

• LLMs instead of Human Judges? A Large Scale Empirical Study across 20 NLP Evaluation Tasks (Bavaresco et al., ACL 2025) • Enhancing Human Evaluation in Machine Translation with Comparative Judgement (Song et al., ACL 2025) • All That's 'Human' Is Not Gold: Evaluating Human Evaluation of Generated Text (Clark et al., ACL-IJCNLP 2021)