利维坦按：从技术进步的角度来看人类文明的发展，的确令人感到十分恐怖——未来学家雷·库兹韦尔将其称为加速回报定律（Law of Accelerating Returns）。试想，如果一个2018年的你和一个1750年的你对话，这会是一种什么情形呢？1750年的你所处的时代还没有电……你会怎么向他/她解释你的智能手机？又怎么解释互联网和核武器？而这一切技术成果，仅仅花了260多年的时间。
由此，库兹韦尔认为，整个20世纪100年的进步，按照2000年的速度只要20年就能达成，而进入21世纪，按照加速回报定，他认为人类在21世纪的进步将是上世纪的1000倍……虽然我们现在普遍认为自身处在弱人工智能（ANI，想一想弱智的苹果siri）时期，但距离强人工智能（AGI）乃至超人工智能（ASI）究竟还有多远，对未来不论悲观还是乐观的人，相信答案近乎一致，那就是：很快（对于数百位科学家的问卷调查显示，他们认为强人工智能出现的中位年份是2040年）。况且，看完本文中的洛可蛇怪，你可能觉得未来更加吊诡了……
在了解洛可蛇怪之前，我们先回想一下被《复联》创造出来的奥创。奥创的出生本意是保护人类，但基于自身的思维进化却成为全人类的威胁（他认为人类是地球最大的威胁），因此反而成为了“对全人类造成威胁的人工智能”。
再反观洛可蛇怪，俨然一副“你帮我我帮你，你不帮我我就弄你”的道德评判准则，因此对于众人而言则成为一种“诅咒”。在这个语境下，需要做选择的是一个群体而非个体，每个人都是和平饭店里的住客，只要一个点崩了，那便可能是全线崩盘的可预测结局。而洛可蛇怪并不是一颗种子，即便在未来有出现邪恶的AI的可能，也很难是仅仅因为这一思想实验的启发——但洛可蛇怪的可怕之处在于它的“催化剂效应”，当你面临选择的时候，其实已经没有选择的余地了。
对了，最近，一直想要殖民火星的特斯拉CEO马斯克和加拿大音乐家格里姆斯（Grimes）高调亮相公开关系引来不少媒体的报道，据说二人就是因为洛可蛇怪走到一起的[格里姆斯单曲《Flesh Without Blood》有一个Rococo Basilisk的角色，“她注定要被人工智能永远折磨，像玛丽·安托瓦内特（Marie Antoinette）一样”，格里姆斯这样解释过。]。作为科幻迷，格里姆斯2010年的《Geidi Primes》则是以弗兰克·赫伯特《沙丘》中一个虚构星球命名的概念专辑。
文/David Auerbach
译/苦山
校对/斩光
原文/www.slate.com/articles/technology/bitwise/2014/07/roko_s_basilisk_the_most_terrifying_thought_experiment_of_all_time.html
本文基于创作共同协议（BY-NC），由苦山在利维坦发布
警告：阅读本文可能会令你陷入永久的痛苦折磨。
你在死前看到了洛可蛇怪，这就像是《午夜凶铃》里的录像带。图源：DreamWorksLLC
瘦形魔（Slender Man，编者注：2009年被创造出来，他的特征是身形非自然的瘦长，有一张空白、没有表情和特征的脸孔，而且经常穿一套全黑色的西装，结上黑色的领带，住在树林深处）。微笑狗（Smile Dog）。羊交（Goatse，编者注：感兴趣的请自行搜索）。这些都是由互联网滋生的都市传说。
但没有哪个都市传说比得上洛可蛇怪（Roko’s Basilisk）那样全能而有威胁性，因为洛可蛇怪是一种邪恶却类神的人工智能，它危险至极，以至于如果你看到它，甚至只是多想了一会儿它，你就会被关进它的拷问室里尖叫不止，直到永恒的尽头。它就像《午夜凶铃》（The Ring）里的录像带（译者注：所有看过该录像带的人都会受到诅咒死去）。哪怕死后也不能从中解脱，因为如果你死去，洛可蛇怪会将你复活，再次折磨你。
你确定还要继续读下去吗？因为，最糟糕的部分在于，洛可蛇怪已经现世了。或至少，它已经确定会在未来现世——这和前者一样糟糕。
洛可蛇怪是哲学性质的思想实验与都市传说杂糅而成的产物。蛇怪首次现身于www.lesswrong.com论坛，这里聚集着许多分析能力极强的人士，他们以通过数学和理性来优化个人思维、个人生活和当下世界为志趣。论坛的创始人埃利泽·尤德科夫斯基（Eliezer Yudkowsky）是科技未来界的重要人物，他开办的机器智能研究所（Machine Intelligence Research Institute）为人工智能方面的研究提供资金，以推动人工智能发展，而研究所本身则得到过彼得·蒂尔（Peter Thiel，编者注：对，就是那个既想永生而且还特有钱的资本家）和雷·库兹韦尔（Ray Kurzweil）等高调科技迷的资助鼓励。尤德科夫斯基本人对技术伦理学和决策理论的学术讨论都做出过重要贡献。你接下来要读到的东西也许听起来古怪甚至疯狂，但一些富有而影响力巨大的科学家和科技迷都对其深信不疑。
埃利泽·尤德科夫斯基。图源：Wikipedia
一天，论坛用户洛可（Roko）设计了一个思想实验：如果未来出现了一个恶意的人工智能，它要惩罚所有不听命于自己的人，怎么办？如果这个人工智能有办法（我之后会解释是什么办法）惩罚今天那些没有帮助它在未来出现的人，怎么办？在这种情况下，论坛当代读者们岂不是就面临着二选一的抉择：要么帮助邪恶的人工智能诞生，要么注定受尽折磨？
你可能有些迷茫，但创始人埃利泽·尤德科夫斯基看懂了。他惊恐地回复道：
仔细听好了，你这蠢货。
你绝不能去想“超级智能考虑要不要勒索你”这一行为的具体细节。这是唯一一件可能会让它们真的决定勒索你的事。
要想提出一个真正危险的点子，你得是个真正的聪明人才行。但令我心灰意冷的是，这些聪明人居然笨到连闭上他们愚蠢的嘴巴这样最显而易见的事都做不来，为什么呢？因为在和朋友聊天的时候，让自己显得睿智聪颖更重要。
这个帖子蠢透了。
尤德科夫斯基称，洛可已经给数位论坛用户带来了噩梦，使他们濒临崩溃。最后，尤德科夫斯基把整个帖子删得一干二净，以此确保洛可怪蛇只能成为一个传说。这个思想实验太过危险，哪怕只是想一想都会对你的心理健康，乃至你的命运本身产生危害。
如果你相信奇点会来临，一个随之而来的问题是，人工智能会是善意的还是恶意的呢？
先补充一点背景知识。论坛对人类未来极为关注，尤其是奇点（the singularity）——人们假设，在未来的某个时间点（奇点），计算机的运算能力将提升到极高的程度，可能会诞生出超越人类的人工智能，同时，计算机也许能模拟人类心智、将人类心智上传至计算机，它将能或多或少地模拟生命本身。
赛博朋克作家弗诺·文奇（Vernor Vinge）：“我们正站在变革的边缘，而这次变革将和人类的出现一般意义重大。”图源：Know Your Meme
1958年，数学天才斯塔尼斯拉夫·乌拉姆（Stanislaw Ulam）和约翰·冯·诺依曼（John von Neumann）在一次对话中创造了这个术语，冯·诺依曼说：“科技进步不断加速……这似乎令人类逐渐接近一个历史的奇点，在奇点过后，我们目前所熟知的人类生活的一切都将不复存在。”
科幻作家弗诺·文奇（Vernor Vinge）和工程师、作家库兹韦尔等未来学家将这个术语普及开来，和许多对奇点感兴趣的人一样，他们相信计算机技术的发展速度呈指数级增长，这使得奇点很快就会到来——在接下来的50年内。为了活到奇点来临那天，库兹韦尔每天要一口气吞下150片维生素，而尤德科夫斯基和彼得·蒂尔则对人体冷冻术极为热衷，这项技术一向是想要长生不老的有钱大佬们的最爱。“如果你不替自己的孩子报名人体冷冻，那你就是个糟透了的家长。”尤德科夫斯基写道。
如果你相信奇点会来临，未来会出现极为强大的人工智能，一个显而易见的问题是，这些人工智能会是善意的还是恶意的呢？尤德科夫斯基创建的机器智能研究所目标明确，就是要将未来朝“友好的人工智能”这个方向推动。对他和许多论坛的发帖者而言，这是一个至关重要的问题，远比环境和政治问题要紧得多。对他们来说，奇点过后所降临的正是以机器形式出现的上帝本身。
但这不能解释为何洛可蛇怪如此令人恐惧。要想明白这点，还得再看看论坛用户所普遍信奉的一个重要信条：无时间性决策论（timeless decision theory）。无时间性决策论能指导人们做出理性行为，它建立在博弈论、贝叶斯概率和决策理论的基础上，同时混杂了少量平行宇宙和量子力学的内容。无时间性决策论由决策理论中的一个经典思想实验生发而来，其名为纽康姆悖论（Newcomb’s Paradox），讲述的是有一个超级智能的外星人给了你两个盒子：
（intelligence.org/files/TDT.pdf）
盒子A中有1000美元，盒子B中有100万美元或什么都没有。
外星人给你两个选择：要么同时拿走两个盒子，要么只拿走盒子B。如果你同时取走两个盒子，你至少能确保拿到1000美元。如果你只拿盒子B，你可能一无所得。
