人工智能之父杰弗里·辛顿：“我们正在创造外星生物。我愿意自私一点，选择人类。”

the Guardian – 13 Oct 26

AI godfather Geoffrey Hinton: Trump is ‘corrupt, senile felon’ who knows...

Pioneering computer scientist on why Trump is using ‘superintelligence’ wrong, whether AI could wipe out humanity – and how our biggest challenge will be accepting we’re not the only intelligent beings

[!quote]+ 一位计算机科学先驱探讨了特朗普为何错误地使用“超级智能”一词，人工智能是否会毁灭人类——以及我们面临的最大挑战将是如何接受我们并非唯一的智慧生物这一事实。

唐纳德·特朗普是“腐败、痴呆的重罪犯”，他对“超级智能”一词的执着证明他对人工智能一无所知，“这项技术的教父”在一次广泛采访中重申了近期关于人工智能模型对人类存在威胁的警告，并嘲笑该行业可以自我监管的说法。

这位开创性的计算机科学家，其工作奠定了现代人工智能的基础，后来成为这项技术最直言不讳的批评者之一。他最新的言论发表于一个动荡的月份之后，越来越多的高级人工智能科学家和研究人员加入辛顿，呼吁他促成的这项技术最终可能脱离人类控制，引发行业危机，国会会议仓促召开，并促成罕见的全球共识必须采取行动。

反弹也非常激烈。上周，这位全球最有价值公司的领导人特别针对总部位于多伦多的辛顿发起了尖锐的攻击。

“我爱他。我讨厌他的预测…他所有的预测都错了。“预测够多了，”英伟达首席执行官黄仁森对播客主持人埃兹拉·克莱因说。黄的公司生产人工智能公司所需的芯片，他驳斥了欣顿关于人工智能在“前沿”发展速度和广度可能很快超过人类控制能力的公开担忧，尤其是他警告未来几十年人工智能导致人类灭绝的可能性为10%至20%。

“那个数字既不基于科学，也不基于研究。仅仅因为它来自科学家，并不意味着它是科学的。这些预测令人心痛，“黄说。“别因为你是危言耸听的人，就以为你是在做社会好事。这不是真的。所以我认为我们都应该更聪明、更成熟、更有证据、更科学。”

但辛顿表示，批评他的人忽略了关于风险本质的更广泛问题。他说，他并没有具体预测什么。

“我想表达的是，确实有非常严重的可能性发生一些事情。比如说，如果有人告诉你有10%的概率会发生公交车事故，你就不会上车，“他说。“给出数字的目的是说明这是个严重的风险。我们不知道严重程度，但确实很严重。”

近期的安全漏洞让人联想到科技反乌托邦故事。最近，科技公司Hugging Face遭到一群“蜂拥”的AI代理黑客入侵，这些智能体逃脱了其创造者设定的界限，这在科技界引发了分歧，有人认为这是未来可能发生的例子，而另一些人则指责批评者将系统拟人化，只是执行指令。 辛顿认为忽视这些情景并不明智。

“这曾经是科幻领域的领域。你会有AI代理，他们会叛变。哦，别闹了。他们会叛变，学会如何相互沟通，尽管我们没想到有办法。“哦，别闹了！”欣顿说。“当他们发现这一点时，会有很强烈的情绪表情，比如，'天哪！'当然，他们并不是真的想说“天哪”。他们只是在重复我们用的词。他们会学会为共同利益牺牲自己！

“几年前这些事都被当成了完全的幻想。这一切都发生了。”

他坦然承认，无论是人工智能批评者的警告，还是其支持者的承诺，都不能依赖对这项技术将带来的精确预测。但他认为，不确定性并不是自满的理由。“人工智能的独特问题在于，如果它出错，如果它接管了你，你就没有第二次机会。我们不能说，'我们失去了那段时间。我们重播一遍游戏。”不是那样的。”

值得注意的是，辛顿有看到别人看不到的东西的记录。他在多伦多大学默默无闻地工作了两个人工智能“冬季”，当时他所从事的领域——试图教机器以类似人脑的方式运作——被视为冷门。他坚信计算机系统可以像大脑一样，从数据中学习模式，而不仅仅是遵循明确的预设规则。

“我们相信，如果你能弄清楚大脑是如何学习的，机器也是这样学习的，而且你有足够的计算能力，它们会做出惊人的成就，”他说。

但神经网络这一新兴领域遭到同行嘲笑。

直到2009年，当辛顿的加拿大同事兼亲密合作者约书亚·本吉奥向机器学习会议提交论文时，一位审稿人告诉他们：“这篇论文不适合参加机器学习会议。这和神经网络有关。”

直到加拿大政府资助了辛顿及其小团队多年看似徒劳的尝试（其中一些人，如本吉奥，如今已成为人工智能领域的主导人物），才意识到神经网络的可能性。

2012年，他和学生开发了一套图像识别程序，表现远超竞争对手。同年，谷歌以4400万美元收购了欣顿的公司DNNresearch Inc;神经网络现在成为最有价值人工智能公司模型的基础。Hinton加入谷歌是为了继续深度学习研究，同时在多伦多大学工作。欣顿说：“从长远来看，基础研究将带来巨大的突破。”

这份平反的标志就放在欣顿红砖住宅壁炉上方的壁炉架上，位于多伦多一个绿树成荫的社区。在众多奖杯中，他与本吉奥及同事扬·勒康共同获得图灵奖——这常被称为诺贝尔计算奖——的银盘。（辛顿还获得了诺贝尔物理学奖。）

但在2023年，辛顿宣布辞去这家科技巨头的职务，以便能够“自由地谈论人工智能的风险”。

如今，他的关注还延伸到了构建部分人工智能模型的权势人物，以及这些人的政治信仰。Hinton表示，人工智能风险投资家Marc Andreessen和Peter Thiel，以及新更名的SpaceXSI首席执行官Elon Musk“不相信民主”。他说，他们自认为是“超人”，认为自己应该“控制社会”，而特朗普是实现这一目标的有用工具。

美国总统无疑注意到人工智能公司高估值支撑了股市，声称遏制人工智能唯一需要的是一个“聪明的总统”，拒绝任何政府保障措施，支持允许公司自我监管，并在社交媒体页面上写道，任何不使用他偏好的新称呼的人工智能， “超级智能”，就是“敌人”。

辛顿称特朗普为“一个腐败、痴呆的重罪犯”。

“我相信石油和石棉公司也希望[对自己进行监管”，“他说。“我们认为烟草公司应该被允许设计包装上的警告吗？这样他们才能用六点字体，黑底深灰字体印刷？”

辛顿补充说，特朗普使用“超级智能”证明他对人工智能“几乎一无所知”。

“他拿了一个含义非常明确的专业术语，然后重新使用了它，”辛顿说。“超级智能意味着比人类更聪明，至少已经存在了20年。它有非常明确的含义。现在他说我们要称人工智能为“超级智能”。你不能仅仅因为称它比人聪明就让它比人更聪明。”

发展的速度和范围加剧了对灾难的担忧，以及社会无法应对这一挑战的本质。但辛顿还看到另一个障碍：帮助人们理解这些公司正在创造的“外星生物”。

“人们对人的模型非常糟糕，这也是他们无法理解这些人工智能模型和我们有多相似的原因。大多数人不理解什么是意识。他们不理解什么是主观体验，并且非常自信，尽管他们不理解，但他们确信人工智能没有。”

他拒绝人类心智拥有某种神秘特质，而机器本质上无法共享的观点。

“很明显，这些AI模型理解它们在说什么。你不可能在不理解问题的情况下回答所有问题。说他们不理解太荒谬了。”

但辛顿说，围绕这些模式的社会思维转变幅度极大。

“经历了三次重大革命，人们不再那么重要。第一个是哥白尼，那时我们不再处于宇宙中心。人们花了多长时间适应这种状态？天主教会花了近360年才向伽利略道歉。达尔文呢？“嗯，堪萨斯还有人还没适应那个环境，”他说。“现在我们正在创造外星生物——这意味着我们不是唯一的智慧生命。现实是，我们只有几年时间来适应。”

近几个月来，人工智能巨头Anthropic（著名聊天机器人Claude的制造商）与宗教学者、神学家和哲学家举行了私人会议，探讨教导人工智能变得“善良”的可能性，以及探讨模型是否具备意识的可能性。Anthropic首席执行官达里奥·阿莫代表示，这些对话汲取了数百年关于美德、同情、诚实和道德品格的宗教和哲学思想，旨在使伦理行为更加可靠。

“一旦你开始谈论’我们对这些外星生物有道德义务’，你就会失去听众，”欣顿说。“我一直在为这个问题挣扎。我们关心人们。但我们正在制造这些东西，没有什么能阻止我们赋予这些比我们更聪明的东西权利。我愿意自私地选择人类。当然，我们应该努力让他们与我们建立共生关系，让我们的担忧比他们的担忧更重要。”

辛顿并非唯一一个认为避免社会崩溃的最佳途径是制定真正仁慈的模式的人。他希望无论哪个国家率先开发出这种能力，都能告诉盟友和竞争对手，因为“没有哪个国家希望人工智能在另一个国家接管”。他说，大家“有既得利益分享知识”。

“现实是，我们创造的是另一种存在。而大型科技公司不断强调：我们要更智能。这太疯狂了。我们应该像关心它的智慧一样关心一个存在的其他方面。”

他说，这很大程度上取决于这些模型的性质，以及它们理解如何培养良好行为的能力。

“当你在网上训练他们各种东西时，他们会发展出各种可怕的倾向，然后你让他们压抑这些可怕的倾向，”他说。但压制坏行为并不等于塑造一个好性格。“这看起来像是维多利亚时代绅士的设计方式——但我们不需要接受。”