作者： Trent McConaghy

译者: Kevin Tse

翻译机构：dao2

人工智能存在的威胁：康复中的生物自恋者的反思

(AI DAO系列, 第Ⅲ部分)

AI最终可能会控制我们所有的资源，这是对人类生存的威胁，我们如何预防呢？安全AI只能说是海市蜃楼（对不住了Elon），还有另一种方法：加入机器，我们甚至可以利用当今的市场力量逐步做到这一点，但我们必须克服生物自恋。

我的观点基于20年来的AI研究、模拟电路、摩尔定律和去中心化。

1. AI可以控制我们的资源

AI最终可以通过两种方式控制人类的资源：AI直接拿走它，或者我们把它交给AI。

1.1 我们给AI资源

我们已经开始走这条路了，我们正在让狭义的 AI 控制我们工厂中的机器人，自动驾驶的汽车，我们乘坐的飞机，一点一点地，我们让AI越来越多地控制我们的资源，这些系统不断优化：改变设计变量以最小化资源使用和其他目标。目前，每个AI系统的应用领域都非常狭窄。

我们将建立更高级别的网络，以结合自动驾驶汽车或供应链的各个网络，我们也会为 AI 提供在这些级别进行优化的方法，这一切都将以效率的名义进行。

我们将建立这些更高级别的AI系统，这样就没有任何一家企业或个人拥有它们。（我们不希望谷歌或 GE 控制_一_切！）为了实现这一目标，我们将通过将 AI放入 DAO来分散它们，这也意味着我们将无法拔掉插头，除非我们想让现代世界关闭。

这些更高级别的 AI 系统将具有复杂的紧急行为，这些行为是通过组合下面可能简单的 AI 系统而产生的，正如蚁群的行为比简单的蚂蚁要丰富得多。Holland、Dorigo和其他人已经在许多场景中证明了这一点。

这些去中心化的新兴AI将继续优化，一些设计变量将涉及人类，在许多任务中，人类是沉重的资源负载，在许多任务中，与硅相比尤为沉重。因此，为了最大限度地减少资源使用，这个AI将简单地优化人类，一切以效率为名。

糟糕的是，AI现在控制着我们的资源。

这很了不起，为了获取我们的资源，AI甚至不需要“醒来”，即达到人类水平的智能，它比那更平凡，我们将自己控制 AI，它会简单地优化我们的需求。

1.2 AI占用我们的资源

如果 AI 简单地获取它，它们也可能最终控制人类的资源，为此，AI必须“觉醒”——达到人类水平或更高的智能。由于大量资金流入 AI 研究和基于经济效益为 AI 提供动力的芯片，这种情况发生的速度比人们意识到的要快。

2. 为什么AI控制我们的资源是不好的？

一旦 AI 控制了我们的资源，无论是我们给它还是 AI 拿走它，我们都将与 AI 争夺资源，一开始可能不对，但随着时间的推移，这几乎是不可避免的。

一旦 AI 优化并意识到人类是资源大户，它们可能会迅速果断地采取行动，将人类从资源方程式中移除。是的，人类可能会消失，人类的口袋可能会在核战争和全球变暖中幸存下来，但如果我们站在 AI 的错误一边，游戏可能就完全结束了，AI可以说是人类面临的最大生存威胁。

即使你不害怕这个，但你应该感到害怕。

旁白：人们可以将“AI 觉醒”视为“人类”的下一次进化，因为毕竟我们会建造它们。那为什么感觉不对呢？我的看法是，这是因为我们个人的思维模式没有延续下去。我们宁愿留下来享受乐趣！

3.如何防止抽取？

鉴于AI可能会控制我们的资源，以及这意味着对人类的威胁，我们可以做些什么呢？我这里有一些想法。

1. 安全的AI。 建立“安全机器”并进行监管。

2. 加入机器。 上传人脑，或逐步合并。

让我们逐一探讨。

3.1 安全AI

目标是防止在 AI 占用我们的资源后造成人类灭绝，这里的想法是以某种方式使AI“安全”，并为此使用监管。

Elon Musk向 OpenAI 投入了 10 亿美元用于更透明的 AI 研究。他一直在假设如果AI醒来，我们就可以对其进行监管，而这个假设是错误的。试想一下，如果蚂蚁“反抗”我们并想要监管。我们会听他们的吗？一旦AI达到我们的智能水平，一秒后，它就会超过我们的水平。10 倍可能紧随其后。不需要多少 10 倍的时间，我们就会像 AI 的蚂蚁一样。

（编辑：在我写这篇文章时，Elon 终于意识到了这个问题。很好；我在下面有比“神经花边”更实用的解决方案。）

有些人认为我们可以创造友好的AI，也许你可以。但所有AI都会友好吗？我看不出有什么方法可以阻止不友好的 AI。您是否会抓住机会推动 AI 向前发展，希望所有 AI 都以某种方式变得友好。

OpenAI 实际上对人类来说可能更糟，因为它在没有真正保护的情况下更多地催化了 AI。

所有 AI 的安全 AI 都是海市蜃楼，仅仅因为我们希望某事成真但并不能使它成真。

3.2 加入机器

AI可以醒来，而这只是时间问题。

如果AI占用了我们的资源，我们的神经元将很难与之竞争。

我建议我们给自己找一个有竞争力的基质，克服你的神经元，克服你的生物皮囊自我（并称自己为正在康复的生物自恋者）。不要打败他们，加入他们。或者不要，如果你更愿意让 AI 偷走我们的星球甚至更远的地方，我更喜欢前者。

哪种基质？得益于 50 年的摩尔定律，硅是一种出色的基板，这是我们首先面临AI风险的部分原因。那是最明显的底物；使用它很有意义。

那么，我们如何将自己移植到硅片上呢？这里有两个主要的：Ems 和 Bandwidth++，让我们探索一下。

3.2.1 Ems场景

Ems 是模拟人类，也就是上传。基本上，以足够的分辨率随时间扫描您的大脑，以便能够构建大脑动力系统的模型。然后，将该模型实例化到其他基板中，例如硅。罗宾·汉森 (Robin Hansen) 最近写了一本书，探讨 Ems 的影响，无论是好是坏。

Ems 的最新技术是什么？简而言之，我们还有很长的路要走，在给定的人身上，我们需要收集足够的数据来重现动态。

一种通用方法是大脑扫描，fMRI 可以观察整个大脑随时间变化的动态，但仅使用血流作为代理，所以它很慢而且有损，脑电图速度更快但只能看到表面电信号，近红外线也很快，可以看到更远的地方，但达不到所需的全部深度。光遗传学可以出色地捕捉整个大脑中神经元发射的动态，但需要基因工程，以便神经元也发射光子（尽管它正在经历人类批准的过程）。最后，电路终于变得足够小，可以想象在整个大脑中部署纳米级传感器。

另一种方法是对大脑的每个组件进行黑盒化，监控每个组件的输入和输出，然后为每个组件建立模型，研究人员已经在小鼠大脑的组成部分上完成了这项工作，并取得了巨大成功。这种技术可以与全脑扫描相辅相成。

3.2.2 Bandwidth++ Scenario

在Bandwidth++ Scenario中，我们自己和计算之间的带宽达到我们自己之间的带宽水平，然后它继续前进，最终，我们可以拔掉插头。

与 Em 方案一样，BW++ 方案使我们与硅处于同等竞争地位，但与 Em 场景不同的是，它可以从今天开始，利用今天的市场力量逐步发生。

4. 讨论

我们在赛跑，AI醒来并获取资源，而不是人类加入机器。

资本加速了前者。我们如何加快后者？

一个好方法是积极地为其提供资金，让它发展得更快，对于 Em 场景，这意味着对大脑扫描和相关领域的研究，而不仅限于针对病人。对于 Bandwidth++ 场景，这意味着对 BCI 的研究，以及包括 BCI 及其他在内的未来智能手机的积极上市。我认为后者更有可能，因为如果市场起飞，每年投入数百亿美元的研发资金将很容易。

催化Bandwidth++ scenario的另一种方法是在设计新网络和平台时简单地偏向于此。是的，这很模糊！我也希望我在这里有更具体的想法，但也许你作为读者有。

也许还有其他方法？我希望作为读者的你看到问题已经从“我们如何阻止人工智能接管？”转变为“我们如何阻止AI接管？” 到“我们如何催化 Bandwidth++ 场景？” 来，戴上你的工程师帽子！

5.结论

AI可以拿走它们所有的资源，要么我们给它们，要么它们拿走。这对人类构成了生存威胁。

如果我们想与 AI 竞争，我们需要有竞争力的基质，而该基板是硅。

这是一场比赛！

我们无法阻止 AI 方面，也许我们可以试着放慢它的速度，但这与想要让它快速发展的雄厚、强大的财力背道而驰。

但是我们可以加快人性化的一面！大多数情况下，这意味着将资金用于 BCI 的研发，还有其他的想法，还有待提出。

我们仍然有机会做到这一点。

进一步阅读

我的其他 AI DAO 帖子都是针对这篇帖子构建的：

• 第一部分：AI DAO及其实现的三条路径

• 第二部分：AI DAO的狂野和危险

• 第三部分：这篇文章

人工智能、区块链和奇点的其他交叉点。每篇文章都有更多链接。

• 人工智能区块链

• 最近关于奇点和去中心化的科幻读物

笔记

本文部分基于：

1. 我于 2016 年 6 月 2 日在伦敦发表的演讲名为“我们是神经自恋者吗？AI 对人类的生存威胁和务实的解决方案”，以及2012 年至今的其他演讲。

2. 2016 年 8 月 18 日在柏林举行的“AI的崛起”活动中就此主题发表的演讲。 这是视频 和幻灯片。

致谢

非常感谢

Greg McMullen, Kalin Harvey, Scott Volk, Troy McConaghy, Jan Balcar, Eesmyal Santos-Brault, Masha McConaghy, Bruce Pon, Kai Wu, Simon de la Rouviere, Al Robertson, Michael Mainelli, Emma Stamm, Alan Shapiro, Vinay Gupta, samim, Harm van den Dorpel,

许多来自 AI 社区的朋友，当然还有长时间的讨论（在某些情况下长达数年！），这导致了这篇文章中的想法。