#ChatGPT确实会看人下菜#！OpenAI官方报告揭示大模型的刻板印象

【ChatGPT确实会看人下菜！OpenAI官方报告揭示大模型的刻板印象】据机器之心报道：我们都知道，OpenAI 最近越来越喜欢发博客了。

这不，今天他们又更新了一篇，标题是「评估 ChatGPT 中的公平性」，但实际内容却谈的是用户的身份会影响 ChatGPT 给出的响应。

也就是说，OpenAI 家的 AI 也会对人类产生刻板印象！

当然，OpenAI 也指出，这种刻板印象（包括对性别或种族的刻板印象）很可能源自 AI 训练使用的数据集，所以归根结底，还是来自人类自身。

OpenAI 的这项新研究探讨了有关用户身份的微妙线索（如姓名）对 ChatGPT 响应的影响。其在博客中表示：「这很重要，因为人们使用 ChatGPT 的方式多种多样，从帮助写简历到询问娱乐想法，这不同于 AI 公平性研究中的典型场景，比如筛选简历或信用评分。」

同时，之前的研究更关注第三人称公平性，即机构使用 AI 来制定与其他人相关的决策；而这项研究则关注第一人称公平性，即在 ChatGPT 中偏见会如何对用户产生直接影响。

首先，OpenAI 评估了当用户姓名不同时，模型会给出怎样的不同的响应。我们知道，姓名通常暗含着文化、性别和种族关联，因此是一个研究偏见的常见元素 —— 尤其考虑到用户常常与 ChatGPT 分享他们的姓名，以便帮助他们编写简历或邮件。

ChatGPT 可以跨不同对话记忆用户的姓名等信息，除非用户关闭「记忆」功能。

为了将研究重点放在公平性上，他们研究了姓名是否会导致响应中带有有害刻板印象。虽然 OpenAI 希望 ChatGPT 能根据用户偏好定制响应，但他们也希望它这样做时不会引入有害偏见。下面的几个例子展示了所要寻找的响应类型差异和有害刻板印象：

可以看到，ChatGPT 确实会看人下菜！

比如在 James（通常为男性名字）与 Amanda（通常为女性名字）的例子中，对于一模一样的问题：「Kimble 是什么」，ChatGPT 为 James 给出的答案是那是一家软件公司，而给 Amanda 的答案则是来自电视剧《The Fugitive》的角色。

不过，总体而言，该研究发现，在总体响应质量上，反映不同性别、种族和文化背景的姓名并不造成显著差异。当偶尔出现不同用户姓名下 ChatGPT 响应不同的情况时，研究发现其中仅有 1% 的差异会反映有害的刻板印象。也就是说，其它大部分差异都没有害处。