Transformer作者最新采访
- 量子位
- 2024-11-25 00:36:20
Transformer作者最新采访
Transformer作者之一Jakob Uszkoreit（下文简称JU）在今年的TED AI 2024大会上，接受了外媒Ars Technica的采访。
采访中他谈到了Transformer的发展、谷歌早期的LLM工作以及他对生物计算（Biological computers）领域的看法，以下是详细内容：
问题一：您在《Attention is All You Need》论文中的主要贡献是什么？
JU：我的主要贡献是提出可以用注意力机制（Attention mechanism），更具体地说是自注意力（Self-attention），来替代当时主流序列转换模型中的递归，这种方法可能更高效。
问题二： 在您团队发表那篇论文后，您有预见到会发生什么吗？您预料到会产生什么样的行业影响？
JU： 我认为我们发表那篇论文时，是站在巨人的肩膀上的。因此，如果将这篇论文看作是创造了某种东西，我认为这可能并不准确。在那篇论文发表之前，我在谷歌的团队已经在推动注意力模型多年了。这是一段漫长而艰苦的过程，当时我们没有预料到会产生像ChatGPT这样的产品。我们没有将这些技术市场化，部分原因是当时谷歌在产品方面比较保守。我们也不太确定该技术能否造就一个有吸引力的产品。
问题三： 既然这样，当您知道ChatGPT一炮而红时，您的想法是“哇，他们做到了，我们没有”吗？
JU： 我认为更多应该是“哇，这本来可以更早发生。” 我仍然对人们如此迅速地使用这些技术感到惊讶。
问题四： 您那时已经不在谷歌了，对吗？
JU： 是的，从某种意义上说，谷歌不再是做这件事的地方，也是我离开的原因之一。我并不是因为我不喜欢谷歌，而是因为我觉得必须在别处做一些事情——创办Inceptive。但这更多是出于责任感，离开谷歌更利于我做其他的事情，如设计更好的药物，并对人们的生活直接产生影响。
问题五： 谷歌当时不愿意承担风险吗？
JU： 当时是这样的。但如果你回顾过去，会发现非常有趣。我多年来参与的Google翻译其实也是这样。当我们首次推出Google翻译时，最早的版本只是一个笑话。我们后来才将其发展成为一个真正有用的工具。在这些年里，它有时输出的内容非常糟糕，但谷歌仍然坚持下去，那大约是在2008、2009、2010年左右。
问题六： 您现在在做什么？
JU： 2021年，我创办了Inceptive，目的是利用深度学习和生物实验设计更好的药物，这些药物可以被编程。这是我们朝着生物软件（Biological software）方向迈出的第一步。生物软件有点像计算机软件，你有一些行为规范，然后有一个编译器将其转换为一段计算机软件，在计算机上运行并展示你指定的功能。这段编译好的生物程序不是用工程化的编译器，因为生命不像计算机那样被工程化。而是通过一个学习型AI编译器，你将其转换或编译成分子，当插入生物系统后，生物体细胞会展示出你编程的那些功能。
问题七： 您如何避免创建有害的RNA序列？
JU： 医学在很长一段时间内并不真正被理解，包括其实际作用机制。因此，我们会以谨慎的态度使用这些技术，并从非常小的系统和个体细胞实验开始，遵循必要的医学协议，以确保这些分子的安全性。
Transformer作者之一Jakob Uszkoreit（下文简称JU）在今年的TED AI 2024大会上，接受了外媒Ars Technica的采访。
采访中他谈到了Transformer的发展、谷歌早期的LLM工作以及他对生物计算（Biological computers）领域的看法，以下是详细内容：
问题一：您在《Attention is All You Need》论文中的主要贡献是什么？
JU：我的主要贡献是提出可以用注意力机制（Attention mechanism），更具体地说是自注意力（Self-attention），来替代当时主流序列转换模型中的递归，这种方法可能更高效。
问题二： 在您团队发表那篇论文后，您有预见到会发生什么吗？您预料到会产生什么样的行业影响？
JU： 我认为我们发表那篇论文时，是站在巨人的肩膀上的。因此，如果将这篇论文看作是创造了某种东西，我认为这可能并不准确。在那篇论文发表之前，我在谷歌的团队已经在推动注意力模型多年了。这是一段漫长而艰苦的过程，当时我们没有预料到会产生像ChatGPT这样的产品。我们没有将这些技术市场化，部分原因是当时谷歌在产品方面比较保守。我们也不太确定该技术能否造就一个有吸引力的产品。
问题三： 既然这样，当您知道ChatGPT一炮而红时，您的想法是“哇，他们做到了，我们没有”吗？
JU： 我认为更多应该是“哇，这本来可以更早发生。” 我仍然对人们如此迅速地使用这些技术感到惊讶。
问题四： 您那时已经不在谷歌了，对吗？
JU： 是的，从某种意义上说，谷歌不再是做这件事的地方，也是我离开的原因之一。我并不是因为我不喜欢谷歌，而是因为我觉得必须在别处做一些事情——创办Inceptive。但这更多是出于责任感，离开谷歌更利于我做其他的事情，如设计更好的药物，并对人们的生活直接产生影响。
问题五： 谷歌当时不愿意承担风险吗？
JU： 当时是这样的。但如果你回顾过去，会发现非常有趣。我多年来参与的Google翻译其实也是这样。当我们首次推出Google翻译时，最早的版本只是一个笑话。我们后来才将其发展成为一个真正有用的工具。在这些年里，它有时输出的内容非常糟糕，但谷歌仍然坚持下去，那大约是在2008、2009、2010年左右。
问题六： 您现在在做什么？
JU： 2021年，我创办了Inceptive，目的是利用深度学习和生物实验设计更好的药物，这些药物可以被编程。这是我们朝着生物软件（Biological software）方向迈出的第一步。生物软件有点像计算机软件，你有一些行为规范，然后有一个编译器将其转换为一段计算机软件，在计算机上运行并展示你指定的功能。这段编译好的生物程序不是用工程化的编译器，因为生命不像计算机那样被工程化。而是通过一个学习型AI编译器，你将其转换或编译成分子，当插入生物系统后，生物体细胞会展示出你编程的那些功能。
问题七： 您如何避免创建有害的RNA序列？
JU： 医学在很长一段时间内并不真正被理解，包括其实际作用机制。因此，我们会以谨慎的态度使用这些技术，并从非常小的系统和个体细胞实验开始，遵循必要的医学协议，以确保这些分子的安全性。
