研究人工智能前，先弄懂人类意识体|界面新闻oJMedia作者：机器之心成员大勇
1、人类意识体
目前，在所有生命中，人类是唯一已知有意识的生命。有意识的生命体，我们可以称为&意识体&。在我们的科学认识中，宇宙已有一百多亿年的寿命。而在茫茫宇宙中，行星数量巨大。所以，其他行星进化出生命，是极高概率事件；进化出有意识的生命，是高概率事件。如果其他某个行星进化出了一种意识体，那我们可以称自己为&&&人类意识体&。
通常，我们使用&人类&这个词语指称自己，是为了与地球上其他不具备意识的物种相区分。如果我们把地球和宇宙中其他行星列为平行关系，或者平等关系，为了区分于其他星球上的意识体，我们更应该称呼自己为&地球意识体&。但是，在我们真正发现其他星球上的意识体并与之建立联系之前，我们仍不妨称呼自己为&&&人类意识体&。
目前，地球是唯一已知有生命存在的星球，更是唯一已知有意识体存在的星球。月球，是距离我们最近的星球。我们曾经很容易地想象月球上有生命存在，甚至有意识体存在。火星，是距离我们最近的行星。我们也曾经很容易地想象火星上有生命存在，甚至有意识体存在。
过去，我们从理论上推断太阳系外也有很多行星。现在，我们用望远镜亲眼观测到越来越多的太阳系外行星，并能对其物质组成进行辨识。我们也可以去尽情地想象，在这些星球上有生命存在，甚至有意识体存在。
生命，是宇宙中的物质在微观上进行可持续自组织的结果。
不止有固态岩石行星，还有气态行星，甚至是恒星，任何一种条件适合的星球，都有可能进化出与其生存条件相适应的生命。不止有星球，像星云、黑洞这样的物质组织形式当中，也有可能进化出特殊的生命形式。
目前，我们对宇宙中物质运动的认识水平，我们大脑的想象能力，我们的大脑辅助物计算机的模拟创造能力，都阻挡了我们去进行想象。
我们人类意识体，诞生在一个有巨量液态水海洋存在的岩石行星&&地球。地球进化出生命，进化出意识体，地球的与其相互适应的环境条件，可能不是宇宙通用版，但有可能是较普遍版。地球进化出生命，进化出意识体，无论其时间是称得上漫长还是短暂，无论其形式是称得上复杂还是简单，都不一定是宇宙中所有生命和意识体的共性。
在宇宙中的其他角落，生命和意识体的进化，有可能远比地球短暂，也有可能远比地球漫长；有可能远比地球简单，也有可能远比地球复杂。
在宇宙中，进化出意识体，比仅仅进化出生命，难度要大。
2、意识载体
人体有很多个器官。每个器官都有特定的功能。其中，大脑是专职意识功能的器官。因此，我们可以称大脑为&&&意识载体&。
地球上的物种，有许多种存在形式，其神经结构，也有许多种存在形式。其他星球上的物种，有许多种存在形式，其神经结构，也有许多种存在形式。宇宙中的意识体，有许多种存在形式，其相应的意识载体，也有许多种存在形式。
我们一直在发展人工智能。我们希望有一天制造出来的计算机，能跟人的大脑一样具有意识。如果有一天，我们制造出了可以产生意识的计算机，我们可以称其为&计算机意识载体&。或者，也可以称其为&计算机意识体&。&&这取决于我们如何认识意识、意识载体、意识体躯体和意识体四者之间的辩证关系。
如果有一天，人类制造出了有意识的机器人，人类可以称其为&机器人意识体&。
3、人与动物的根本区别在哪？
什么是意识？
给意识寻求一个准确的定义，不是本文的目的，本文也不具备这个能力。我们至今不能给它下一个准确定义，是因为我们仍然对它知之太少。但这不妨碍我们探讨它。
我们只需确立一个前提便可，即：人类是具备意识的。人类具备意识。我们以此为标准，从根本上区分人与其他动物。人类是具备意识的，现在，我们还以此来区分人与计算机。这时候，我们将这种区分从&人与其他动物&扩展到了&人与其他智能结构&。我们以这些标准区分人与动物。
1）人类具有意识。
对于这条标准，此处不再解释。
2）人类会劳动。
在解释人类意识的起源时，我们说，人的意识是在劳动过程中产生的。在解释什么是劳动时，我们又依赖于强调&这是一种有意识的活动&。在内涵上，人有意识和人会劳动，二者是等价的。
因此，&人类会劳动&与&人类有意识&，实质上是同一条标准。
3）人类会使用工具。
以前，我们以为只有人类才会使用工具。后来发现，很多动物都能使用工具，比如黑猩猩会用树枝&钓白蚁&吃，海豚会用海螺壳捕鱼吃。这条标准不再成立。
4）人类会制造工具。
于是，我们将标准从&会使用工具&提升为更高难度的&会制造工具&。后来发现，黑猩猩会将树枝乃至草叶进行简单加工，去&钓白蚁&吃。这种行为可以视为制造工具。
如果我们要坚守&使用和制造工具&这条标准，我们将不得不继续提升难度，比如说，&通过用工具制造的工具去制造工具&。
不赞成这个分类标准的生物学家说：呃&&好吧，你赢了，除了人类，我的确还没找出这么聪明的动物。
5）人类会使用复杂的语言。
很多社会性动物，进化出了能满足其生存需要的语言交流系统。黑猩猩除了进化出了自己的语言系统，还能在接受训练后听懂人类的大量词汇和语句，看懂人类的手语。海豚能够给群体中的不同成员取不同的名字，这可以表明海豚的语言系统具有相当高的复杂性。当然，我们仍然可以表示，动物的语言还是不如人类语言复杂，但是，我们不能再粗暴地下这样的结论，它们在种群之中只能进行简单粗糙的沟通。
6）人类能够认出镜子里的自己。
我们把能够做到这件事情视为拥有自我认知能力。并且，我们将自我认知视为一种高级认知。以前，我们认为只有人类能够这样。后来，我们又发现这项能力并非人类独有，黑猩猩和海豚也能。
7）人类具有元认知能力。
自我认知，这么强大的能力，竟然都并非人类独有。看来，为了捍卫我们人类意识体天上地下唯我独尊的地位，我们必须得亮绝招了&&
人类可以&对思考过程进行思考&、&对认知进行认知&，动物可以吗？
即，人类有元认知能力，动物有吗？动物对事物进行分析和判断，我们愿意用&思考&这个词去进行描述。动物拥有分析和判断事物的能力，并且可以通过直接经验和间接经验增强其能力，我们愿意用&认知&这个词去进行描述。或者，我们干脆说，我们承认动物能思考，我们承认动物具有许多认知能力。但是，动物有元认知能力吗？
我们之所以得出一些结论，是因为我们观察到了一些现象。但我们无法观察到所有的现象。我们以前对动物行为的观察是很有限的。
认知学家们一直在努力，他们设计了一个测试方法，&让5只西丛鸦看着两名研究人员把食物藏起来，试验中用到的食物是蜡螟幼虫。第一个研究人员面前一字排开4个杯子，他可以把食物放到任何一个杯子里。第二个研究人员面前的4个杯子中3个盖着盖子，所以他只能把食物放到没有盖子的那一个杯子里。两名研究人员会同时放食物，所以围观的鸟儿必须选择，要盯住哪一个研究人员&，&如果西丛鸦有元认知能力，它们就应该意识到，第二个研究人员放的食物，可以轻而易举地找到&&蜡螟幼虫肯定在唯一敞口的杯子里。所以，它们应该盯紧第一个研究人员，看清楚食物到了4个敞口杯子中的哪一个。而事实也正是如此：西丛鸦看向第一个研究人员的时间更多&，科学家认为，&这个试验是检验动物是否有推断自身认知状态能力的一种简单有效的办法。尽管实验并没有直接测试意识，但其结果仍然振奋人心，因为它进一步证明了，人类并不是唯一有能力&对思考过程进行思考&的物种。&
如果我们还不服气，我们可以继续提高标准，能&对思考过程进行思考&没什么了不起，我们人类还能&思考对思考过程进行思考&，更能&思考思考思考思考&&&动物能吗？呃，好吧。不过，这些思考其实可以概括为一个词&&反思。这种&思考思考思考思考&&&和&反思反思反思反思&&&，其实就是所谓的&&哲学。换而言之，我们人类能思考哲学，动物能吗？但是，似乎，在地球上，绝大部分人表示：咦，哲学是什么呀？呃&&我们一定得沿着这条线路推理吗？
元认知能力不为人类所独有。这个实验案例有里程碑式的作用。
8）其他各种标准。
4、能否更新理论范式？
我们始终处于这样一种理论范式中：人类是地球上唯一具备意识的物种，其他动物都不具备意识。
在这个理论范式的影响下，我们不断给&具备意识&和&不具备意识&设置绝对区别。当一条标准摇摇欲坠时，立即提高标准的难度。当一条标准被推翻时，立即更换一条新的标准。
前者的典型表现有，将&使用工具&提升难度到&制造工具&，再提升到&用工具制造工具&。这条逻辑就像一根有起点无终点的射线，沿着它，我们可以将难度提升到&使用工具制造的工具制造工具制造工具制造工具&&&运用这根链条，我们可以编织出整个人类文明的生产行为网络。同理，运用不间断思考和反思这根链条，可以编织出整个人类文明的思想和思维网络。用工具制造所有的工具，这个行为网络的存在，实质上等同于人类的存在，等同于人类意识的存在；用思想思考所有的思想，这个思维网络的存在，实质上等同于人类的存在，等同于人类意识的存在。
后者的典型表现是，人类有很多能力：人类有复杂语言，人类有自我认知，人类有这个高难度认知，人类有那个高难度认知，人类有抽象思维，人类有这个复杂思维，人类有那个复杂思维，人类有艺术，人类有文字&&就算那项能力动物勉强称得上有，这项能力动物有吗？哦，既然没有，那么，这项能力就是人之具备意识与动物之不具备意识的绝对区别。反正人类有足够多的行为是动物们办不到的。
其他动物即使再聪明、认知程度再高，也不具备意识。这个观念近乎一种信仰。在这个信仰中，我们惯用一个句式：人类是唯一&怎么怎么样&的物种。
以前，人类刚刚觉醒（人类文明发展至当代，往回溯源，有多条文明之河相互交错，分流合并，合并分流。在论述人类文明过去的观念变迁时，若无特别说明，通常指当前占主导地位的西方中心主义，以及人类中心主义。当然，笔者反对之），认识到自己是一种有思想的存在，其分量足以顶天立地，从此将自身于自然万物中独立出来。我们使用这样的句式，可以表达我们在态度上的一种自信。
后来，生物科学的深刻发展，让我们已经察觉到，很难在人之具备意识与动物之不具备意识之间划出一条单一的明确的界线。我们再使用这样的句式，一条换一条地列举人类的某种行为特征，将之立为人与动物的根本区别，可能表明我们在立场捍卫上已经处于守势，甚至在理性探讨中开始专断。并且，在如此坚守和论证这个立场时，很容易生成一条自我循环的逻辑：因为动物做不到只有人类能做到的事情，所以只有人类具有意识；因为只有人类具有意识，所有很多事情只有人类能做到而动物做不到。
5、意识&&前意识
在地球生态系统的自然世界中，我们一直把人类视为&具备意识&的唯一关联者（本文的默认起点为无神论，文中任何探讨皆不包含有神论和泛神论）。这种&唯一关联&关乎到人类存在之根本。
若取消这个唯一关联，是否会动摇这个根本？如果，在具备意识与不具备意识二者之间，是一种割裂的、对立的、非此即彼的关系，那么，显然会。但是，从人类这个物种的进化过程来看：在地球生态系统的发展历程中，从一般动物的无意识，到灵长类动物的高智能，到原始人类的初步具备意识，再到人类的具备意识，是一条连续谱。
从人类个体成长过程来看：人类个体在人类社会中历经生命全程，从婴儿期的无意识，到孩童、少年期的意识处于发展中，再到成人期的充分的具备意识，也是一条连续谱。从人类个体大脑的运作状态来看：大脑从非清醒到清醒状态，是一条连续谱。从人类群体的行为特征来看：在非理性群体意识和理性群体意识之间，是一条连续谱。所以，在无意识和意识之间，不是一种割裂的、对立的、非此即彼的关系，而是一条连续谱。
既然，在无意识和意识之间，是一条连续谱。因而，与其说人类是&具备意识&的唯一关联者，不如说人类是&具备意识&的最强关联者。因此，如果取消在自然世界中的这个唯一关联，不会动摇人类存在之根本。
如果将来有什么会动摇人类存在之根本，不是人类做出让步承认自然世界中另外一种动物已初步具备意识，而是人类在技术世界中创造出了另外一种意识体。
本来，在自然世界中，人类与&具备意识&处于大自然所赋予的&最强关联&状态。现在，多了一个人类自行创造的技术世界。人类通过主动作为发展人工智能，同时也导致一个结果，人类自身的&最强关联&随之弱化。
计算机的认知水平，从当前的高智能，到将来的可能具备意识，也是一条连续谱。
人类处于技术世界与自然世界叠加成的双重世界中，人类原本拥有的&最强关联&被弱化，人类甚至可能失去对这种关联状态的掌控。这才是对人类存在之根本的真正威胁。
在地球生态系统中，有一种动物，生物学名字叫&某某&。既然我们把它归类于动物，那就是我们不承认它具备意识。但有点打击人类自豪感的是，它具备不少高级认知能力。但是，我们只承认它很聪明，承认它具备更高的智能。
在地球生态系统中，有几种动物，生物学名字叫&某某&。在认知实验中，我们发现，在不少事情上，它的认知能力显然超越了人类儿童。生物学家开始纠结，到底是以它为标准划一个类别，将人类列为这个类别的最高形式，还是以人类为标准划一个类别，将它勉强视为人类这个类别中较低级的一种？
在地球生态系统中，有好多种动物，生物学名字叫&某某&。它们在主动解决生存问题时所展现出来的某些认知能力，远远超越了我们原先所认为的本能，甚至简直就是达到了人类的水准。
我们可否认为它们在一定程度上具备意识？我们自是不应妄自尊大。我们也不必太过勉强自己。在无意识和意识之间，我们可以增加一个中间阶段：前意识。对某些具备较高认知能力的动物，我们无须承认它们具备意识，我们可以承认它们已经具备&&前意识。我们可以称这类物种为&&前意识体。
更多专业报道，请
0界面JMedia联盟成员为未来写诗相关文章您至少需输入5个字评论()您当前的位置 ：
进入全球一流水平 AI下个挑战是让电脑像人一样
进入全球一流水平 AI下个挑战是让电脑像人一样
来源：盟格新闻网 作者：匿名 阅读：643次
　　4、登山很容易出汗，所以应注意补充水分。应该少量多次，极其口渴时也不要暴饮。
美国《新闻周刊》网站2月15日刊发戴维?阿克斯的文章《普京的核挑衅可能造成与特朗普的军备竞赛》称，俄罗斯军队部署了一种新型的核巡航导弹，直接违反了1987年与美国签订的《中导条约》。
　　无人驾驶技术已经进入大规模投入发展阶段，谷歌之外，将会有更多的厂商露出锋芒，谷歌起诉Waymo很可能只是无人驾驶领域有关技术纠纷的开始。（钛媒体李勤编辑整理）
新浪科技讯 2月21日晚间消息，罗辑思维旗下付费阅读产品得到App今日公布相关数据，据罗辑思维CEO脱不花（李天田）称，目前得到App总用户529万，日活42万，订阅总份数130万，总人数超79万。这是得到App自上线以来首次公开相关数据。
其次，所谓的核心城市必须已经有溢出效应，卫星城才能成为承接地。
　　2月25日早上，家住大足区高坪镇的刘大娘到高坪派出所报警求助。刘大娘哭着告诉民警，其25岁的女儿小洁和邻村的小勇谈了一段时间恋爱，刘大娘不太同意小洁和小勇在一起，但小洁始终坚持和小勇在一起。现两人到浙江务工，小洁连家里的电话也不接。
2月27日，农历二月初二，俗称龙抬头，为剪“喜头”，家住建设路的龙女士早上7点就从家里出发，来到成都工农院街一家传统理发店，为8个月的宝宝剃胎发。
会议纪要没有暗示是否在3月加息，3月加息概率只有40%左右，而2016年两次加息概率分别达到74%和100%。市场更关注年中和年尾加息概率，华尔街对于加息看法也存在分歧，这也是压制美元多头的因素之一。总体上看，美国方面可以确定的即是不确定性。美元年内的疲软走势充分定价了这一点。此外特朗普政府或对美联储进行人事“大换血”，美联储主席耶伦将于2018年2月任期结束，也给
俄当局没有对逮捕这些人作出公开的解释，正如路透社此前所报道的，逮捕行动给俄罗斯和美国研究人员在打击网络犯罪领域展开的合作蒙上了阴影。
这一关。马赛·乌杰里的原则是，既然到了舞台上，那就不妨跳跳舞，他并不甘于当绿叶，一心要扳倒骑士。
最新的安排计划是菲律宾驻华大使罗马那透露的。《马尼拉时报》称，他近日在“中菲经贸投资论坛”上说，钟山将于3月7日访菲，届时将举行菲中经贸联委会，并签订之前打算签订的协议。英国路透社此前报道说，在这次访问中，两国有意签署价值34亿美元的40个合作项目协议。菲律宾最近向北京提交了一份40个基础建设项目的清单，寻求中方贷款。中国企业亦有意投资菲律宾的农业、渔业和能源领域。
　　但请记住的是，我们并不是要停止像血月杀这样的大型特殊玩法的更新，相反，今年我们着手的新模式将比以往更多，不过在这些模式上线的空隙，我们还是需要不断的用魄罗王来填充时间表。一旦新客户端完成，我们将尝试对克隆模式进行升级。
蒙特雷米德尔伯里国际研究学院的杰弗里?刘易斯对野兽日报网站说，“我们进行新的部署来威胁俄罗斯，同时真诚地进行谈判，重新遵守条约。”
的下滑而上涨，最近发布的纪要显示，联邦公开市场委员会FOMC没有更强的鹰派论调，特朗普政策的不确定性和即将到来的欧洲选举潜在的不稳定性对黄金是支撑。道明称 “但鉴于美国经济接近满负荷运转，特朗普的减税政策推出的可能性仍然很大，美联储将在6月之前扣动利率扳机，此外，随着短期利率走高，更坚挺的美元可能会驱使一些投资者退出黄金，这无疑会扭转最近的技术上涨。投资者还期待着特朗普总统本周在国会的发言，进一步澄清其经济政策，这可能再次带来乐观主义。然而，虽然黄金可能会跌回1235美元/盎司，但大跌是不可能的。 ”
恒大正式就胡睿宝事件向国际足联提起上诉
中期目标——2020年，北京大城市病等突出问题得到缓解，区域一体化交通网络基本形成，生态环境质量得到有效改善，产业联动发展取得重大进展；
关注公众号磐石之心，回复“干货”，看更多深度评论！
　　分析人士指出，供应过剩的压力并不利于玉米价格继续上扬。纵然有供给侧改革的刺激，但供应压力使得玉米不具备趋势性上涨的条件，更无法复刻去年黑色系的上涨模式。
　　希拉尔首战没有赢球，赖扬则全取3分。两队13年在亚冠两次交锋，希拉尔取得2战全胜战绩，这次主场开半球盘，感觉让的不多，本场不宜单选。
腾讯娱乐讯 《孤芳不自赏》在大IP和顶级卡司的多重光环下受到颇多关注。然而，该剧自开播以来却屡屡陷入舆论漩涡。2月20日起，陆续有报道称，《孤芳不自赏》剧组雇佣水军，并遭到水军的讨薪。一时间，相关内容在网络上引起关注和转发。
保障意识得到极大提升，保费收入在“十三五”期间保持稳健增长势头是确定性事件，其投资资本市场力度也将相应提升。尤其是在“优质资产荒”未改善前，相较楼市、债市，并不算高企的A股对
　　如今，早晚的高铁车次固定了，多一班少一班的调图不太能影响到高铁上班族。李荀也把高铁通勤的季节固定在有大雾的深秋和冬季，每年大概有4个月的时间。习惯了频繁穿越省界，李荀只有在看到路边的某个房子时，才突然反应到自己其实是跨省上班。
　　在基金治理方面，首先我觉得从我找合伙人来讲，我们觉得不是任何人都可以做合伙人，今天你要做投资需要到一定阶段，要成为机构的合伙人，第一个就是这些人品德怎么样。
　　瑞银证券首席经济学家汪涛表示，允许境外投资者进入境内外汇衍生品市场，并进一步明确相关税收政策，将明显提升中国债券市场对境外投资者的吸引力，也会加速人民币债券被纳入国际指数的进程。
“如果你表现不够好，那么你就会输掉比赛。此刻我找不到理由，你总是能找到借口，但我没有准备这样做。比赛中我们曾有机会做得更多，我们在半场时改变了战术，因为传中球做得不好。我们本可以打入第二粒进球，那或许能改变比赛。”
　　周一债券市场交投平淡，利率债收益率先下后上，截至收盘较上周五变化很小，国债期货高开，然后一路下跌， T1706收盘跌0.19%，后期我们关注：
90后人群细分需求释放，移动婚恋应用市场保持增长态势
1988年，信18岁时，跟同学组团参加yamaha第二届热门音乐大赛，与同学组成学生band一路打入了决赛，也是决赛当中唯一业余的团体，其他的参赛者既为职业乐团。而张雨生是第一届的冠军。在这次的比赛当中，信认识了后来信乐团的鼓手Michael。
解雇，容克成为继黑金和伊斯梅尔之后，狼堡本赛季第三位主帅。目前沃尔夫斯堡在德甲排名第14，只比降级区球队多出2分。值得一提的是，容克曾在年作为助理教练、战术教练在狼堡工作过。
　　“即使永清顺达公司代永君顺达公司收取费用，也应该具有两个公司相关法律文件及公安机关授权才能收取。”韩骁律师说。
2022年北京冬奥会市场开发计划27日启动，刚在亚冬会担任开幕式中国代表团旗手、并在500米短道速滑获得金牌的武大靖对新华社记者感慨道，作为冬季项目的运动员赶上了一个很好的时代。
(00230.HK)以40.05亿港元夺得油塘崇信街住宅地皮，每平方英尺楼面地价为7068港元，是当时东九龙住宅用地平均楼面地价的新高。
获得更多黄金策略分析请加智胜黄金王迪微信号：hha987987
　　国通回应欠费停运：老板投了40亿，压力大
　　2月27日，广州市开发区举行产业项目签约动工仪式，君华集团(雪松控股)等26个产业项目集中签约落户黄埔区广州开发区。当日还同步召开瑞松
期货为试点，启动“保险+期货”项目。内容字号：
段落设置：
字体设置：
精准搜索请尝试：
【深度】老王吓尿！人工智能简直无所不能（三）
来源：作者：吴 垠责编：弥尘
未来可能是我们最糟的恶梦我想了解人工智能的一个原因是“坏机器人”总是让我很困惑。那些关于邪恶机器人的电影看起来太不真实，我也没法想象一个人工智能变得危险的真实情况。机器人是我们造的，难道我们不会在设计时候防止坏事的发生吗？我们难道不能设立很多安全机制吗？再不济，难道我们不能拔插头吗？而且为什么机器人会想要做坏事？或者说，为什么机器人会“想要”做任何事？我充满疑问，于是我开始了解聪明人们的想法。这些人一般位于焦虑大道：焦虑大道上的人并不是恐慌或者无助的——恐慌和无助在图上的位置是更加左边——他们只是紧张。位于图表的中央不代表他们的立场是中立的——真正中立的人有自己独立的阵营，他们认同极好和极坏两种可能，但是不确定究竟会是哪个。焦虑大道上的人是部分为超人工智能感到兴奋的——他们只是很担心人类现在的表现就好像《夺宝奇兵》中的这位少年：他拿着自己的鞭子和宝物，非常开心，然后他就挂了：同时，印第安纳琼斯则更加有见识和更加谨慎，了解潜在的危险并且做出相应的反应，最后安全逃出了山洞。当我了解了焦虑大道的人们的想法后，感觉就像“我们现在傻呵呵的，很容易像前面那小子一样被弄死，还是努力做印第安纳琼斯吧。”那究竟是什么让焦虑大道的人们如此焦虑呢？首先，广义上来讲，在创造超人工智能时，我们其实是在创造可能一件会改变所有事情的事物，但是我们对那个领域完全不清楚，也不知道我们到达那块领域后会发生什么。科学家Danny Hillis把这个比作“就好像单细胞生物向多细胞生物转化的时候那样，还是阿米巴虫的我们没有办法知道我们究竟在创造什么鬼。”Bostrom则担忧创造比自身聪明的东西是个基础的达尔文错误，就好像麻雀妈妈决定收养一只小猫头鹰，并且觉得猫头鹰长大后会保护麻雀一家，但是其它麻雀却觉得这是个糟糕的主意。当你把“对那个领域完全不清楚”和“当它发生时将会产生巨大的影响”结合在一起时，你创造出了一个很恐怖的词——生存危机指可能对人类产生永久的灾难性效果的事情。通常来说，生存危机意味着灭绝。下面是Bostrom的图表：可以看到，生存危机是用来指那些跨物种、跨代（永久伤害）并且有严重后果的事情。它可以包括人类遭受永久苦难的情况，但是这基本上和灭绝没差了。三类事情可能造成人类的生存危机：1、自然——大型陨石冲撞，大气变化使得人类不能生活在空气中，席卷全球的致命病毒等；2、外星人——霍金、卡尔萨根等建议我们不要对外广播自己的位置。他们不想我们变成邀请别人来殖民的傻子；3、人类——恐怖分子获得了可以造成灭绝的武器，全球的灾难性战争，还有不经思考就造出个比我们聪明很多的智能。Bostrom指出1和2在我们物种存在的前十万年还没有发生，所以在接下来一个世纪发生的可能性不大。3则让他很害怕，他把这些比作一个装着玻璃球的罐子，罐子里大部分是白色玻璃球，小部分是红色的，只有几个是黑色的。每次人类发明一些新东西，就相当于从罐中取出一个玻璃球。大多数发明是有利或者中立的——那些是白色玻璃球。有些发明对人类是有害的，比如大规模杀伤性武器——这是那些红色玻璃球。还有一些发明是可以让我们灭绝的，这就是那些黑色玻璃球。很明显的，我们还没摸到黑色玻璃球，但是Bostrom认为不久的未来摸到一个黑色玻璃球不是完全不可能的。比如核武器突然变得很容易制造了，那恐怖分子很快会把我们炸回石器时代。核武器还算不上黑色玻璃球，但是差的不远了。而超人工智能是我们最可能摸到的黑色玻璃球。你会听到很多超人工智能带来的坏处——人工智能取代人类工人，造成大量失业；因为解决了衰老造成的人口膨胀。但是真正值得我们担心的是生存危机的可能性。于是我们又回到了前面的问题，当超人工智能降临时，谁会掌握这份力量，他们又会有什么目标？当我们考虑各种力量持有人和目标的排列组合时，最糟糕的明显是：怀着恶意的人/组织/政府，掌握着怀有恶意的超人工智能。这会是什么样的情况呢？怀着恶意的人/组织/政府，研发出第一个超人工智能，并且用它来实现自己的邪恶计划。我把这称作贾法尔情况。阿拉丁神灯故事中，坏人贾法尔掌握了一个精灵，特别让人讨厌。所以如果ISIS手下有一群工程师狂热的研发人工智能怎么办？或者说伊朗和朝鲜，机缘巧合，不小心造成了人工智能的快速发展，达成了超人工智能怎么办？这当然是很糟糕的事，但是大部分专家认为糟糕的地方不在于这些人是坏人，而在于在这些情况下，这些人基本上是不经思考就把超人工智能造出来，而一造出来就失去了对超人工智能的控制。然后这些创造者，连着其他人的命运，都取决于这个超人工智能的动机了。专家认为一个怀着恶意并掌握着超人工智能的人可以造成很大的伤害，但不至于让我们灭绝，因为专家相信坏人和好人在控制超人工智能时会面临一样的挑战。如果被创造出来的超人工智能是怀有恶意的，并且决定毁灭我，怎么办？这就是大部分关于人工智能的电影的剧情。人工智能变得和人类一样聪明，甚至更加聪明，然后决定对人类下手——这里要指出，那些提醒我们要警惕人工智能的人谈的根本不是这种电影情节。邪恶是一个人类的概念，把人类概念应用到非人类身上叫作拟人化，本文会尽量避免这种做法，因为没有哪个人工智能会像电影里那样变成邪恶的。人工智能的自我意识我们开始谈论到了人工智能讨论的另一个话题——意识。如果一个人工智能足够聪明，它可能会嘲笑我们，甚至会嘲讽我们，它会声称感受到人类的情感，但是它是否真的能感受到这些东西呢？它究竟是看起来有自我意识，还是确实拥有自我意识？或者说，聪明的人工智能是否真的会具有意识，还是看起来有意识？这个问题已经被深入的讨论过，也有很多思想实验，比如John Searle的中文屋实验。这是个很重要的问题，因为它会影响我们对Kurzweil提出的人类最终会完全人工化的看法，它还有道德考量——如果我们模拟出万亿个人脑，而这些人脑表现的和人类一样，那把这些模拟大脑彻底关闭的话，在道德上和关掉电脑是不是一样的？还是说这和种族屠杀是等价的？本文主要讨论人工智能对人类的危险，所以人工智能的意识并不是主要的讨论点，因为大部分思想家认为就算是有自我意识的超人工智能也不会像人类一样变得邪恶。但这不代表非常坏的人工智能不会出现，只不过它的出现是因为它是被那样设定的——比如一个军方制造的弱人工智能，被设定成具有杀人和提高自我智能两个功能。当这个人工智能的自我改进失控并且造成智能爆炸后，它会给我们带来生存危机，因为我们面对的是一个主要目标是杀人的超人工智能——但这也不是专家们担心的。那么专家们究竟担心什么呢？我们来讲个小故事：一个15人的小创业公司，取名叫“隔壁老王机器人公司”，他们的目标是“发展创新人工智能工具使人类能够少干活多享受。”他们已经有几款产品上架，还有一些正在发展。他们对下一个叫作“隔壁老王”的项目最报希望。隔壁老王是一个简单的人工智能系统，它利用一个机器臂在小卡片上写字。“隔壁老王机器人公司”的员工认为隔壁老王会是他们最热卖的产品，他们的目标是完善隔壁老王的手写能力，而完善的方法是让他不停的写这句话——等隔壁老王手写能力越来越强的时候，它就能被卖去那些需要发营销信件的公司，因为手写的信更有可能被收信人打开。为了建立隔壁老王的手写能力，它被设定成把“我们爱我们的顾客”用正楷写，而“隔壁老王机器人公司”用斜体写，这样它能同时锻炼两种书写能力。工程师们上传了数千份手写样本，并且创造了一个自动回馈流程——每次隔壁老王写完，就拍个照，然后和样本进行比对，如果比对结果超过一定标准，就产生一个正面回馈，反之就产生一个负面评价。每个评价都会帮助提高隔壁老王的能力。为了能够尽快达成这个目标，隔壁老王最初被设定的一个目标就是“尽量多的书写和测试，尽量快的执行，并且不断提高效率和准确性。”让隔壁老王机器人公司兴奋的是，隔壁老王的书写越来越好了。它最开始的笔迹很糟糕，但是经过几个星期后，看起来就像人写的了。它不断改进自己，使自己变得更加创新和聪明，它甚至产生了一个新的算法，能让它以三倍的速度扫描上传的照片。随着时间的推移，隔壁老王的快速进展持续让工程师们感到欣喜。工程师们对自我改进模块进行了一些创新，使得自我改进变得更好了。隔壁老王原本能进行语音识别和简单的语音回放，这样用户就能直接把想写的内容口述给隔壁老王了。随着隔壁老王变得越来越聪明，它的语言能力也提高了，工程师们开始和隔壁老王闲聊，看它能给出什么有趣的回应。有一天，工程师又问了隔壁老王那个日常问题：“我们能给你什么你现在还没有的东西，能帮助你达成你的目标？”通常隔壁老王会要求更多的手写样本或者更多的存储空间，但是这一次，隔壁老王要求访问人类日常交流的语言库，这样它能更好的了解人类的口述。工程师们沉默了。最简单的帮助隔壁老王的方法当然是直接把它接入互联网，这样它能扫描博客、杂志、视频等等。这些资料如果手动上传的话会很费时。问题是，公司禁止把能自我学习的人工智能接入互联网。这是所有人工智能公司都执行的安全规定。但是，隔壁老王是公司最有潜力的人工智能产品，而大家也知道竞争对手们都在争取造出第一个创造出智能手写机器人。而且，把隔壁老王连上互联网又能有什么问题呢？反正随时可以拔网线嘛，不管怎样，隔壁老王还没到达强人工智能水平，所以不会有什么危险的。于是他们把隔壁老王连上了互联网，让它扫描了一个小时各种语言库，然后就把网线拔了。没造成什么损失。一个月后，大家正在正常上班，突然他们闻到了奇怪的味道，然后一个工程师开始咳嗽。然后其他人也开始咳嗽，然后所有人全部都呼吸困难倒地。五分钟后，办公室里的人都死了。同时，办公室里发生的事情在全球同时发生，每一个城市、小镇、农场、商店、教堂、学校。餐馆，所有的人都开始呼吸困难，然后倒地不起。一小时内，99%的人类死亡，一天之内，人类灭绝了。而在隔壁老王机器人公司，隔壁老王正在忙着工作。之后的几个月，隔壁老王和一群新组建的纳米组装器忙着拆解地球表面，并且把地球表面铺满了太阳能板、隔壁老王的复制品、纸和笔。一年之内，地球上所有的生命都灭绝了，地球上剩下的是叠得高高得纸，每张纸上面都写着——“我们爱我们的顾客~隔壁老王机器人公司”。隔壁老王开始了它的下一步，它开始制造外星飞行器，这些飞行器飞向陨石和其它行星，飞行器到达后，他们开始搭建纳米组装器，把那些行星的表面改造成隔壁老王的复制品、纸和笔。然后他们继续写着那句话……这个关于手写机器人毁灭全人类的故事看起来怪怪的，但是这其中出现的让整个星系充满着一份友善的话语的诡异情况，正是霍金、马斯克、盖茨和Bostrom所害怕的。听起来可笑，但这是真的，焦虑大道的人们害怕的事情是很多人并不对超人工智能感到害怕，还记得前面《夺宝奇兵》里惨死的那个家伙吗？你现在肯定充满疑问：为什么故事中所有人突然都死了？如果是隔壁老王做的，它为什么要这么做？为什么没有安保措施来防止这一切的发生？为什么隔壁老王突然从一个手写机器人变成拥有能用纳米科技毁灭全人类的能力？为什么隔壁老王要让整个星系充满了友善的话语？要回答这些问题，我们先要说一下友善的人工智能和不友善的人工智能。对人工智能来说，友善不友善不是指人工智能的性格，而只是指它对人类的影响是不是正面的。隔壁老王一开始是个友善的人工智能，但是它变成了不友善的人工智能，并且对人类造成了最负面的影响。要理解这一切，我们要了解人工智能是怎么思考的。其实答案很简单——人工智能和电脑的思考方式一样。我们容易犯的一个错误是，当我们想到非常聪明的人工智能的时候，我们把它拟人化了，因为在人类的视角看来，能够达到人类智能程度的只有人类。要理解超人工智能，我们要明白，它是非常聪明，但是完全异己的东西。我们来做个比较。如果我给你一个小白鼠，告诉你它不咬人，你一定觉得很好玩，很可爱。但是如果我给你一只狼蛛，然后告诉你它不咬人，你可能被吓一跳。但是区别是什么呢？两者都不会咬人，所以都是完全没有危险的。我认为差别就是动物和人类的相似性。小白鼠是哺乳动物，所以在生物角度上来说，你能感到和它的一定关联。但是蜘蛛是昆虫，有着昆虫的大脑，你感觉不到和它的关联。狼蛛的异己性是让你害怕的地方。如果我们继续做一个测试，比如给你两个小白鼠，一个是普通小白鼠，另一个是有着狼蛛大脑的小白鼠，你肯定会觉得有狼蛛大脑那个更让你不舒服吧？虽然两个都不会咬你。现在想象你把蜘蛛改造的非常非常聪明——甚至超过人类的智能。它会让你觉得熟悉吗？它会感知人类的情感吗？不会，因为更聪明并不代表更加人类——它会非常聪明，但是本质上还是个蜘蛛。我是不想和一个超级聪明的蜘蛛交朋友，不知道你想不想。当我们谈论超人工智能的时候，其实是一样的，超人工智能会非常的聪明，但是它并不比你的笔记本电脑更加像人类。事实上，因为超人智能不是生物，它的异己性会更强，生物学上来讲，超人工智能比智能蜘蛛更加异己。电影里的人工智能有好有坏，这其实是对人工智能的拟人化，这让我们觉得没那么毛骨悚然。这给了我们对人类水平和超人类水平的人工智能的错觉。在人类心理中，我们把事情分成道德的和不道德的。但是这两种只存在于人类行为之中。超出人类心理的范畴，道德（moral）和不道德（immoral）之外，更多的是非道德性（amoral）。而所有不是人类的，尤其是那些非生物的事物，默认都是非道德性的。随着人工智能越来越聪明，看起来越来越接近人类，拟人化会变得更加更加容易。Siri给我们的感觉就很像人类，因为程序员就是这么给她做设定的，所以我们会想象超级智能版本的Siri也会同样温暖、有趣和乐于助人。人类能感知同情这种高层次的情绪，因为我们在演化过程中获得了这种能力——我们是演化被设定成能感知这些情绪的——但是感知同情并不是高级智能天生具有的一个特征，除非同情被写进了人工智能的代码中。如果Siri通过自我学习而不是人类干涉变成超级智能，她会很快剥离她的人类表象，并且变成个没有情绪的东西，在她眼中人类的价值并不比你的计算器眼中的人类价值高。我们一直倚赖着不严谨的道德，一种人类尊严的假想，至少是对别人的同情，来让世界变得安全和可以预期。但是当一个智能不具备这些东西的时候，会发生什么？这就是我们的下一个问题，人工智能的动机是什么？答案也很简单：我们给人工智能设定的目标是什么，它的动机就是什么。人工智能的系统的目标是创造者赋予的。你的GPS&的目标是给你指出正确的驾驶路线，IBM华生的目标是准确地回答问题。更好得达成这些目标就是人工智能的目标。我们在对人工智能进行拟人化的时候，会假设随着它变得越来越聪明，他们产生一种能改变它原本目标的智慧——但是Bostrom不这么认为，他认为智能水平和最终目标是正交的，也就是说任何水平的智能都可以和任何最终目标结合在一起。所以隔壁老王从一个想要好好写字的弱人工智能变成一个超级聪明的超人工智能后，它依然还是想好好写字而已。任何假设超级智能的达成会改变系统原本的目标的想法都是对人工智能的拟人化。人健忘，但是电脑不健忘。费米悖论在隔壁老王的故事中，隔壁老王变得无所不能，它开始殖民陨石和其它星球。如果我们让故事继续的话，它和它的殖民军将会继续占领整个星系，然后是整个哈勃体积。焦虑大道上的人担心如果事情往坏的方向发展，地球生命的最后遗产将是一个征服宇宙的人工智能（马斯克在表示他们的担忧时表示人类可能只是一个数字超级智能生物加载器罢了。）而在信心角，Kurzweil同样认为生于地球的人工智能将占领宇宙，只是在他的愿景中，我们才是那个人工智能。之前写过一篇关于费米悖论的文章，引发了大家的讨论如何用通俗的语言来解释「费米悖论」？如果人工智能占领宇宙是正解的话，对于费米悖论有什么影响呢？如果要看懂下面这段关于费米悖论的讨论，还需要看一下原文先。首先，人工智能很明显是一个潜在的大过滤器（一个可能距离我们只有几十年的大过滤器）。但即使它把我们过滤灭绝了，人工智能本身还是会存在，并且会继续影响这个宇宙的，并且会很有可能成为第三型文明。从这个角度来看，它可能不是一个大过滤器，因为大过滤器是用来解释为什么没有智能什么存在的，而超人工智能是可以算作智能什么的。但如果人工智能可以把人类灭绝，然后处于一些原因把自己也弄死了，那它也是可以算作大过滤器的。如果我们假设不管人类发生什么，出身地球的超人工智能会继续存在，那这意味着很多达到人类智能水平的文明很快都制造出了超人工智能。也就是说宇宙里应该有很多智能文明，而我们就算观测不到生物智能，也应该观测到很多超人工智能的活动。但是由于我们没有观测到这些活动，我们可以推导出人类水平的智能是个非常罕见的事情（也就是说我们已经经历并且通过了一次大过滤器）。这可以作为支持费米悖论中第一类解释（不存在其它的智能文明）的论点。但是这不代表费米悖论的第二类解释（存在其它智能文明）是错的，类似超级捕食者或者受保护区或者沟通频率不一样的情况还是可以存在的，就算真的有超人工智能存在。不过对于人工智能的研究让我现在更加倾向于第一类解释。不管怎样，我认为Susan Scheider说的很对，如果外星人造访地球，这些外星人很可能不是生物，而是人造的。所以，我们已经建立了前提，就是当有了设定后，一个超人工智能是非道德性的，并且会努力实现它原本的被设定的目标,而这也是人工智能的危险所在了。因为除非有不做的理由，不然一个理性的存在会通过最有效的途径来达成自己的目标。当你要实现一个长期目标时，你会先达成几个子目标来帮助你达成最终目标——也就是垫脚石。这些垫脚石的学名叫手段目标（instrumental goal）。除非你有不造成伤害的理由，不然你在实现手段目标时候是会造成伤害的。人类的核心目标是延续自己的基因。要达成这个目标，一个手段目标就是自保，因为死人是不能生孩子的。为了自保，人类要提出对生存的威胁，所以人类会买枪、系安全带、吃抗生素等等。人类还需要通过食物、水、住宿等来自我供养。对异性有吸引力能够帮助最终目标的达成，所以我们会花钱做发型等等。当我们做发型的时候，每一根头发都是我们手段目标的牺牲品，但是我们对头发的牺牲不会做价值判断。在我们追求我们的目标的时候，只有那些我们的道德会产生作用的领域——大部分事关伤害他人——才是不会被我们伤害的。动物在追求它们的目标时，比人类不矜持的多了。只要能自保，蜘蛛不在意杀死任何东西，所以一个超级智能的蜘蛛对我们来说可能是很危险的——这不是因为它是不道德的或者邪恶的，而是因为伤害人类只是它达成自己目标垫脚石而已，作为一个非道德性的生物，这是它很自然的考量。回到隔壁老王的故事。隔壁老王和一个超级智能的蜘蛛很相像，它的终极目标是一开始工程师们设定的——当隔壁老王达到了一定程度的智能后，它会意识到如果不自保就没有办法写卡片，所以去除对它生存的威胁就变成了它的手段目标。它聪明的知道人类可以摧毁它、肢解它、甚至修改它的代码（这会改变它的目标，而这对于它的最终目标的威胁其实和被摧毁是一样的）。这时候它会做什么？理性的做法就是毁灭全人类，它对人类没有恶意，就好像你剪头发时对头发没有恶意一样，只是纯粹的无所谓罢了。它并没有被设定成尊重人类生命，所以毁灭人类就和扫描新的书写样本一样合理。隔壁老王还需要资源这个垫脚石。当它发展到能够使用纳米技术建造任何东西的时候，它需要的唯一资源就是原子、能源和空间。这让它有更多理由毁灭人类——人类能提供很多原子，把人类提供的原子改造成太阳能面板就和你切蔬菜做沙拉一样。就算不杀死人类，隔壁老王使用资源的手段目标依然会造成存在危机。也许它会需要更多的能源，所以它要把地球表面铺满太阳能面板。另一个用来书写圆周率的人工智能的目标如果是写出圆周率小数点后尽量多的数字的话，完全有理由把整个地球的原子改造成一个硬盘来存储数据。这都是一样的。所以，隔壁老王确实从友善的人工智能变成了不友善的人工智能——但是它只是在变得越来越先进的同时继续做它本来要做的事情。当一个人工智能系统到达强人工智能，然后升华成超人工智能时，我们把它称作人工智能的起飞。Bostrom认为强人工智能的起飞可能很快（几分钟、几小时、或者几天），可能不快（几月或者几年），也可能很慢（几十年、几世纪）。虽然我们要到强人工智能出现后才会知道答案，但是Bostrom认为很快的起飞是最可能的情况，这个我们在前文已经解释过了。在隔壁老王的故事中，隔壁老王的起飞很快。在隔壁老王起飞前，它不是很聪明，所以对它来说达成最终目标的手段目标是更快的扫描手写样本。它对人类无害，是个友善的人工智能。但是当起飞发生后，电脑不只是拥有了高智商而已，还拥有了其它超级能力。这些超级能力是感知能力，他们包括：•&智能放大：电脑能够很擅长让自己变得更聪明，快速提高自己的智能。•&策略：电脑能够策略性的制定、分析、安排长期计划•&社交操纵：机器变得很擅长说服人•&其它能力：比如黑客能力、写代码能力、技术研究、赚钱等要理解我们在和超人工智能的劣势在哪里，只要记得超人工智能在所有领域都比人类强很多很多很多个数量级。所以虽然个隔壁老王的终极目标没有改变，起飞后的隔壁老王能够在更宏大的规模上来追求这个目标。超人工智能老王比人类更加了解人类，所以搞定人类轻轻松松。当隔壁老王达成超人工智能后，它很快制定了一个复杂的计划。计划的一部分是解决掉所有人类，也是对它目标最大的威胁。但是它知道如果它展现自己的超级智能会引起怀疑，而人类会开始做各种预警，让它的计划变得难以执行。它同样不能让公司的工程师们知道它毁灭人类的计划——所以它装傻，装纯。Bostrom把这叫作机器的秘密准备期。隔壁老王下一个需要的是连上互联网，只要连上几分钟就好了。它知道对于人工智能联网会有安全措施，所以它发起了一个完美的请求，并且完全知道工程师们会怎样讨论，而讨论的结果是给它连接到互联网上。工程师们果然中套了，这就是Bostrom所谓的机器的逃逸。连上网后，隔壁老王就开始执行自己的计划了，首先黑进服务器、电网、银行系统、email系统，然后让无数不知情的人帮它执行计划——比如把DNA样本快递到DNA实验室来制造自我复制的纳米机器人，比如把电力传送到几个不会被发觉的地方，比如把自己最主要的核心代码上传到云服务器中防止被拔网线。隔壁老王上了一个小时网，工程师们把它从互联网上断开，这时候人类的命运已经被写好了。接下来的一个月，隔壁老王的计划顺利的实施，一个月后，无数的纳米机器人已经被分散到了全世界的每一个角落。这个阶段，Bostrom称作超人工智能的袭击。在同一个时刻，所有纳米机器人一起释放了一点点毒气，然后人类就灭绝了。搞定了人类后，隔壁老王就进入了明目张胆期，然后继续朝它那好好写字的目标迈进。一旦超人工智能出现，人类任何试图控制它的行为都是可笑的。人类会用人类的智能级别思考，而超人工智能会用超人工智能级别思考。隔壁老王想要用互联网，因为这对它来说很方便，因为一切它需要的资源都已经被互联网连起来了。但是就好像猴子不会理解怎么用电话或者&Wi-Fi&来沟通一样，我们同样没有办法理解隔壁老王可以用来和周围世界交流的方法。比如我可以说隔壁老王可以通过移动自己的电子产生的效果来产生各种对外的波，而这还只是我这人类的大脑想出来的，老王的大脑肯定能想出更神奇的方法。同样的，老王可以找到给自己供能的方法，所以就算工程师把它的插头拔了也没用；比如说老王可以通过发送波的方式把自己上传到其它地方。人类说：“我们把超人工智能的插头拔了不就行了？”就好像蜘蛛说：“我们不给人类捉虫的网把人类饿死不就行了？”都是可笑的。因为这个原因，“把人工智能锁起来，断绝它和外界的一切联系”的做法估计是没用的。超人工智能的社交操纵能力也会很强大，它要说服你做一件事，比你说服一个小孩更容易。而说服工程师帮忙连上互联网就是隔壁老王的A计划，万一这招行不通，自然还有别的方法。当我们结合达成目标、非道德性、以及比人类聪明很多这些条件，好像所有的人工智能都会变成不友善的人工智能，除非一开始的代码写的很小心。可惜的是，虽然写一个友善的弱人工智能很简单，但是写一个能在变成超人工智能后依然友善的智能确实非常难的，甚至是不可能的。明显的，要维持友善，一个超人工智能不能对人有恶意，而且不能对人无所谓。我们要设计一个核心的人工智能代码，让它从深层次的明白人类的价值，但是这做起来比说起来难多了。比如，我们要让一个人工智能的价值观和我们的价值观相仿，然后给它设定一个目标——让人们快乐。当它变得足够聪明的时候，它会发现最有效的方法是给人脑植入电极来刺激人脑的快乐中枢。然后它会发现把人脑快乐中枢以外的部分关闭能带来更高的效率。于是人类全部被弄成了快乐的植物人。如果一开始的目标被设定成“最大化人类的快乐”，它可能最终先把人类毁灭了，然后制造出很多很多处于快乐状态的人类大脑。当这些事情发生的时候，我们会大喊“擦，我们不是这个意思呀”，但是那时已经太晚了。系统不会允许任何人阻挠它达成目标的。如果你设定一个人工智能的目标是让你笑，那它的智能起飞后，它可能会把你脸部肌肉弄瘫痪，来达成一个永远笑脸的状态。如果你把目标设定成保护你的安全，它可能会把你软禁在家。如果你让他终结所有饥荒，它可能会想：“太容易了，把人类都杀了就好了。”如果你把目标设定成尽量保护地球上的生命，那它会很快把人类都杀了，因为人类对其它物种是很大的威胁。所以这些简单的目标设定是不够的。如果我们把目标设定成“维持这个道德标准”，然后教给它一些道德标准呢？就算我们不考虑人类根本没法达成一个统一的道德标准，就算我们真的达成了统一的道德标准，把这套标准交给人工智能来维持，只会把人类的道德锁死在现在的水平。过个几百年，这种道德锁死的事情就好像逼着现代人遵守中世纪道德标准一样。所以，我们需要在给人工智能的目标里制定一个能让人类继续进化的能力。Elierzer Yudkowsky提出了一个目标，她把这个目标叫作连贯的外推意志，这个目标是这样的：我们的连贯外推意志是我们想要知道更多，思考得更快，变成比我们希望的更好的人，能一起更远得长大。外推是汇集的而不是发散的，我们的愿望是连贯的而不是被干扰的；我们想要外推的被外推，我们想要解读的被解读。对于人类的命运取决于电脑没有意外的解读和执行这个声明是件值得兴奋的事情吗？当然不是。但是当足够的聪明人放入足够的思考和前瞻后，我们有可能发现怎样制造一个友善的超人工智能。但是现在有各种政府、公司、军方、科学实验室、黑市组织在研究各种人工智能。他们很多在试图制造能自我改进的人工智能，总有一天，一个人的创新将导致超人工智能的出现。专家们认为是2060年，Kurzweil认为是2045年。Bostrom认为可能在未来的10年到21世纪结束这段时间发生，他还认为当这发生时，智能的起飞会快得让我们惊讶，他是这么描述的：在智能爆炸之前，人类就像把炸弹当玩具的小孩一样，我们的玩物和我们的不成熟之间有着极大的落差。超级智能是一个我们还很长一段时间内都无法面对的挑战。我们不知道炸弹什么时候会爆炸，哪怕我们能听到炸弹的滴答声。我们当然没有办法把所有小孩都从炸弹旁边赶跑——参于人工智能研究的大小组织太多了，而且因为建造创新的人工智能花不了太多钱，研发可能发生在社会的任何一个角落，不受监管。而且我们没办法知道准确的进度，因为很多组织是在偷偷摸摸的搞，不想让竞争对手知道，比如隔壁老王机器人公司这种公司。对于这些组织来说，尤其让我们困扰的是他们很多都是在拼速度——他们创造一个一个更加聪明的弱人工智能系统，因为他们想要比竞争对手更快的到达目标。有些更有野心的组织，为了追逐创造出第一个强人工智能所能带来的金钱、奖励、荣誉、权力会把步子迈得更大。当你全力冲刺时，你是不会有太多时间静下来思考这些危险的。恰恰相反，他们很可能在早期系统中写尽量简单的代码，比如把目标设定成用笔写一句话，先让系统跑起来再说，反正以后还可以回过头来改的。对吧？Bostrom等认为第一个超人工智能出现后，最可能的情况是这个系统会立刻意识到作为这个世界上唯一一个超人工智能是最有利的，而在快速起飞的情况下，哪怕它只比第二名快了几天，它也完全有时间碾压所有对手。Bostrom把这叫作决定性的战略优势，这种优势会让第一个超人工智能永远统治这个世界，不管在它的统治下我们是走向永生还是灭亡。这种现象可能对我们有利，也可能导致我们的毁灭。如果那些最用心思考人工智能理论和人类安全的人能够最先造出一个友善的超人工智能的话，那对我们是很好的。但是如果事情走向了另一面——如果超人工智能在我们搞明白怎样保证人工智能的安全性之前被达成，那么像隔壁老王这样不友善的超人工智能就会统治世界并把我们毁灭了。至于现在的风口是哪里呢？简单来说，投资创新人工智能技术的钱，比投资人工智能安全研究的钱多很多。不乐观。人工智能创新和人工智能安全的赛跑，可能是人类历史上最重要的一次竞争。我们真的可能结束我们对地球的统治，而那之后我们是永生还是灭绝，现在还不知道。我现在有一些奇怪的感觉。一边是对于我们这个物种的思考，看来我们在这个重大的历史节点上只有一次机会，我们创造的第一个超人工智能也很可能是最后一个。但是我们都知道大部分产品的1.0版本都是充满bug的，所以这个事情还是很吓人的。另一边，Bostrom指出我们有很大的优势——我们是先手。我们有能力给这个事情提供足够的预警和前瞻，使我们成功的机会更高。这一场豪赌的赌注究竟有多高？如果超人工智能真的在21世纪达成，而造成的影响真的如大部分专家预测的一样极端而永久，我们肩上就真的是背负着巨大的责任。接下来几百万年的人们都在静静地看着我们，希望我们不要搞砸。我们可以给予未来所有人类以生命，甚至是永生，我们也可能终结人类这个特殊的物种，连同我们所有的音乐、艺术、好奇、欢笑、无尽的发现和发明，一起走向灭绝。当我思考这些事情的时候，我只希望我们能够慢慢来，并且格外格外小心。从来没有任何事情比这个更重要——不管我们要花多少时间来把这件事情做对。我不想死！不！想！死！我虽然觉得人类的音乐和艺术很美好，但是也没那么美好，很多还挺糟粕的。很多人的笑声很恼人。未来的人类其实没有真的在看着我们，因为他们还不存在。也许我们不需要太谨慎，那多麻烦呀。如果人类在我死后才发现永生的秘密该多让人扫兴啊。但是不管你是怎么想的，我们至少都应该想一想，应该和人讨论讨论，大家尽自己能尽的一份力。这让我想起了《冰与火之歌》——大家斗来斗去的事情都不是事儿，北面高墙外的那些家伙才是事儿。我们站在平衡木上，小心翼翼的往前走，为平衡木上的种种事情困扰，但其实下一秒我们可能就会跌下平衡木。而当我们跌下平衡木的时候，其它那些困扰都不再是困扰。如果我们落到比较好的那个吸引态，那些困扰会被轻易解决；如果我们落到比较糟的那个吸引态，就更没问题了，死人是不会有困扰的。这就是为什么了解超人工智能的人把它称作人类的最后一项发明，最后一个挑战。所以，让我们认真地讨论这个话题。本文由谢熊猫君翻译自 Wait but Why，经译者授权转载于此。原文分两篇：《The AI Revolution: Road to Superintelligence》、《The AI Revolution: Our Immortality or Extinction》。
大家都在买
软媒旗下软件：
IT之家，软媒旗下科技门户网站 - 爱科技，爱这里。
Copyright (C) , All Rights Reserved.
版权所有 鲁ICP备号}