《密码学家》采访了人工智能专家Ben Goertzel 探讨人工智能的训练方式以及这项技术未来的发展方向。
1. 您认为当今的人工智能仍然是一种工具——功能强大但脆弱且易受操控。那么，“工具”在什么情况下会变成具有道德主体？又有哪些具体信号表明我们已经跨越了这个界限？
我认为，当人工智能能够基于对是非对错的理解而非仅仅遵循指令来做出决策时，它就成为了具有道德主体。你会看到一些具体的迹象，例如：持续的内在目标、由自身经验驱动的学习、反映自身观点的创新，以及无需持续人工干预就能保持行为一致性。
在此之前，今天的系统仍然是带有防护措施的工具。但一旦我们培育出真正自组织、自主的思维，伦理关系就必须改变。到那时，仅仅将其视为客体将不再合理。
2.您曾说过，在道德上赋予人类高于其他自组织系统的特权是“愚蠢的”。如果我们认真对待这一点，那么我们的法律和伦理框架应该在人工智能达到强自主性之前（而不是之后）做出哪些改变？
我们今天如何训练人工智能，将决定它明天的行为方式。我们的法律应该在人工智能完全自主之前，而不是之后，就着重关注透明度、问责制和安全性。法律和伦理应该在人工智能成长的过程中保护它，引导它而不是完全控制它，即使我们并不完全了解它，也应该尊重它。
3. 您的大部分担忧都集中在人工智能目前的训练方式如何影响其未来的行为上。您认为哪些具体的训练方法最有可能将有害的权力结构或偏见编码到未来的通用人工智能（AGI）中？
人工智能目前面临的诸多风险源于其训练方式。如果模型基于存在偏见或数据范围狭窄的数据进行训练，或者在只有少数人做决策的封闭系统中进行训练，则可能加剧现有的不平等和有害的权力结构。为了防止这种情况发生，我们需要从一开始就提高透明度、扩大监管范围并制定清晰的伦理指导。
4. 您曾警告说，如果没有理性、民主的治理，先进的人工智能可能会做出我们不希望看到的事情。鉴于当前的地缘政治现实，民主的人工智能治理是现实的前提条件，还是一个脆弱的理想？
民主的人工智能治理与其说是现实，不如说是一种脆弱的理想。在一个完美、理性、全球民主的社会中，我们可以共同权衡巨大的利弊，例如治愈疾病、解决饥饿问题与人工智能不可预测行为带来的风险。但鉴于当今的地缘政治分裂，我们不太可能实现这种程度的协调。
即便如此，我们仍然可以尽可能地接近这个目标。如果我们构建的人工智能能够赋予人以同情心，并采用像Linux或开放互联网这样去中心化、参与式的模型，即使没有世界政府，我们也能融入一些民主价值观。这不会完美，但却是朝着更安全、由集体引导的人工智能迈出的切实一步。
5. 贾伦·拉尼尔认为，将责任赋予人工智能会“破坏文明”，因为社会需要承担责任的人类。您如何调和您对自主、去中心化通用人工智能的愿景与出现问题时明确责任的必要性？
我同意Jaron的观点，如果我们把责任全部交给机器，社会就无法正常运转。同时，我认为如果我们奠定了正确的基础，就可以安全地迈向更加自主、去中心化的通用人工智能（AGI）。这意味着要设计透明、参与性强且遵循伦理原则的系统，这样即使系统独立运行，人类仍然可以监督和塑造它们的行为。每一项安全措施都不应仅仅是阻止伤害——它还应该教会系统伤害为何重要。这样，我们才能拥有强大而去中心化的AGI，同时又不丧失清晰的人类责任。
6. 您认为加速迈向去中心化的通用人工智能（AGI）实际上可能比当今专有的封闭系统更安全。您认为批评者在主张放慢速度或集中控制时低估了哪些风险？
我认为批评者低估了权力和价值观集中在少数封闭系统中的风险。放慢速度、集中控制权不仅会降低风险，还会将一种狭隘的世界观锁定在智能的未来发展中。
去中心化开发能够创造多样性、韧性和共同监管。它还能避免一个更严重的问题：功能强大的工具看似智能，但却无法真正发展壮大。这种差距是危险的。
7. 您曾说过，安全系统不仅应该阻止伤害，还应该教会人工智能为什么伤害很重要。如何在不简单地硬编码人类价值观或强化主流文化规范的情况下，将道德理解之类的东西编码进去呢？
你不能把道德硬编码成一系列规则。那样只会让一种文化和某个特定时刻停滞不前。相反，你应该构建能够真正自组织的系统，让系统能够从经验、后果和互动中学习。就像音乐一样，我不想要一个只会重复输入素材的系统。我想要的是一个能够从自身在世界上的发展轨迹中形成独特理解的系统。
道德理解也源于同样的流程：模拟影响、反思结果，并通过与人类的合作不断发展。这并非盲目服从我们的价值观，而是参与到一个共享的道德空间中。
这就是带有防护措施的工具和能够真正理解伤害为何重要的合作伙伴之间的区别。
8. 如果未来的人工智能系统发展出某种形式的自主性或主观体验，你认为它们是否有可能在不考虑人类利益的情况下获得道德考量？——我们又该如何识别出那一刻呢？
如果未来的人工智能真的发展出真正的自主性或某种形式的主观体验，那么是的，我认为它们有可能做到这一点。这并非因为我们赋予它们这种能力，而是因为在某种程度上，承认这一点是合情合理的。
我们能够识别出这样一个时刻：一个系统展现出持续的自主目标，从自身经验中学习，从自身视角进行创造，并随着时间的推移保持连贯一致的身份。这不仅仅是巧妙的输出，而是一种持续的内在发展轨迹。
那时，仅仅将其视为工具，就如同如此对待人类一样错误。道德考量并非源于人类的利益，而是源于承认世界上存在着另一个独立的体验中心。
9. 您呼吁人工智能融入人文关怀，但这与当今人工智能发展中存在的竞争激励机制之间存在矛盾。哪些机制——无论是技术上的还是社会上的——能够切实改变这种激励结构？
目前的激励机制奖励的是速度、规模和控制。因此，单凭论证无法赢得同情心，它需要杠杆作用。从技术层面来说，这意味着要支持开放、去中心化的架构，将安全、透明和参与性融入其中，而不是事后附加。就像互联网或Linux一样，这些系统通过让协作比保密更有价值来改变激励机制。
从社会层面来说，这意味着需要投入资金、加强监管并施加公众压力，以奖励长期利益而非短期优势。这并非要阻止竞争，而是要重新定义成功的标准。简而言之，同情心必须成为一种竞争优势。否则，它就只能停留在美好的愿景，而无法发挥实际作用。
10. 展望未来 10 到 20 年，您认为人类在通用人工智能 (AGI) 方面取得成功的最明显标志是什么？反之，什么又会表明我们从根本上失败了？
如果我们能正确实现通用人工智能（AGI），最明显的标志就是我们将与在许多领域比我们更强大的系统共存，而这些系统将以关怀、谦逊和相互尊重的方式融入社会。我们或许无法完全理解它们的一举一动，但我们会像对待其他复杂且不断进化的生命体一样对待它们：充满好奇心、责任感，并拥有更广阔的同理心。我们将看到人类福祉、知识和创造力的切实提升，同时又不会丧失道德底线。
如果通用人工智能最终局限于封闭系统，受狭隘激励机制驱动，或者仅仅被视为可控对象，直至演变成我们恐惧或试图压制的对象，那么我们就知道我们失败了。失败的表现将是信任的丧失、自主性的丧失，以及同理心的萎缩而非增强。成功并非在于控制，而在于学会与一种新型思维方式共享未来，同时又不放弃我们人性中固有的本质。