Aligning with Human Judgement:...
- AMiner学术头条
- 2024-09-05 05:36:55
Aligning with Human Judgement: The Role of Pairwise Preference in Large Language Model Evaluators
网页链接
本文探讨了大型语言模型（LLM）在评估生成自然语言质量方面的潜力与局限。尽管LLM显示出作为自动评估者的有前景的能力，但它们在评估中仍表现出偏见，并且常常难以生成与人类评估相一致的连贯评价。本文首先系统研究了LLM评估者与人类判断之间的不一致性，指出旨在减轻偏见的现有校准方法不足以有效地对齐LLM评估者。受RLHF中使用偏好数据的启发，我们将评估视为一个排序问题，并引入了一种名为Pairwise-preference Search（PairS）的不确定性引导搜索方法，该方法利用LLM进行成对比较，并有效地对候选文本进行排名。PairS在代表性的评估任务上取得了最先进的表现，并显著超过了直接评分的性能。此外，本文还提供了关于成对偏好在量化LLMs的可传递性方面的作用的研究成果，并展示了PairS如何从校准中受益。
博士论文写作大模型人工智能
网页链接本文探讨了大型语言模型（LLM）在评估生成自然语言质量方面的潜力与局限。尽管LLM显示出作为自动评估者的有前景的能力，但它们在评估中仍表现出偏见，并且常常难以生成与人类评估相一致的连贯评价。本文首先系统研究了LLM评估者与人类判断之间的不一致性，指出旨在减轻偏见的现有校准方法不足以有效地对齐LLM评估者。受RLHF中使用偏好数据的启发，我们将评估视为一个排序问题，并引入了一种名为Pairwise-preference Search（PairS）的不确定性引导搜索方法，该方法利用LLM进行成对比较，并有效地对候选文本进行排名。PairS在代表性的评估任务上取得了最先进的表现，并显著超过了直接评分的性能。此外，本文还提供了关于成对偏好在量化LLMs的可传递性方面的作用的研究成果，并展示了PairS如何从校准中受益。
博士论文写作大模型人工智能