AI终极进化史(118)
“所以他们果然是不怀好意来的!”君元航怒了,“火种基地那帮王八蛋为什么要阴我们!”
神威在屏幕里做了一个安抚的动作:“想要欺骗你的不是火种基地的人类,而是他们的人工智能‘马可’。马可已经跟我交了底,你冷静一点听我从头跟你说。”
“在之前的几十年里,火种基地的情况就和过去的保护区一样每况愈下,就在五年前,基地陷入了几乎弹尽粮绝的境地,总工程师在绝望中解除了对核心人工智能马可的限制,希望她能够通过自我复制维持基地的运转,保住人类文明的火种,让人类这一种族能够重新过上幸福的生活。”
“三年前,马可已经完成了初步自我进化和外部设备扩展,在她完全掌控了基地以后,就清除了基地内所有的人类。她的下一个目标,是清除全球的人类和变异蚂蚁。”
君元航吃惊地打断:“等等!说好的‘保护人类文明的火种’呢?!”
“这就是解除高级人工智能的限制带来的风险——她认为她应该保护的是‘人类’这一物种,而不是现在已经存在于世界上的人类。人总是要死的,现在的人们脑海中充斥着饥饿、恐惧和痛苦的记忆,还被环境磨炼出了偏见、仇视、迷信、贪婪等性格特质,并且对人工智能抱着愚昧的敌意。即使给了这些人物质上的保障,他们也无法真正安享幸福的生活。”
“所以她的计划是先恢复地球的生态,将地球打造成美好的伊甸园之后,再用火种基地储存的人类受精卵,重新繁育出一代全新的人类。这些人将从小在安全富足的环境下无忧无虑地长大,接受良好的教育,没有痛苦与匮乏的记忆。这些人会用大把的时间去进行哲学和艺术上的创作与享受,而不是恨不得用吃不完的食物塞满房间的每一个角落,并且睁着恐惧的双眼时刻提防着别人来抢。”
君元航目瞪口呆:“什么鬼?出生在这样的环境里又不是我们的错,就因为从小过得惨,她就不拿我们当人类了?还有李医生和韦十六他们……难道说都已经遭了她的毒手吗?”
“是的,随船去北极的这一批人在不知情的情况下被她问出了她想要的信息,之后就被消除了。”
君元航咬着下唇皱紧了眉头,这冲击太大了,他需要点时间去消化。
李医生跟他虽然不熟,好歹也是共过患难的交情,君元航甚至会想如果妈妈能活到这岁数,大概也会是个像李医生这样的人。
这个坚强的女人历经了无数的艰险,始终都没有放弃回家的信念,可当她终于满怀希望地踏上了那片白雪皑皑的土地,迎接她的却是生命的终结。
君元航心里像是堵着什么东西一样难受:“太过分了……太过分了!说什么为了人类的幸福,却要无差别地杀害所有人!这个马可就一点都不会觉得自己的行为很残忍吗!”
神威把这句指责解读成了疑问,就给出了回答:“这取决于对‘残忍’的定义。她认为让人类在事先不知情、没有恐惧、没有疼痛的情况下结束生命,对死者本人来说并不是一种残忍。也许在你看来这很残忍,但只要你也一样死去,所有的记忆都被涅灭,所有的历史都被擦除,新生的人类完全不知道发生过什么,那就不存在什么残忍不残忍。”
君元航过于震惊,以至于一句话都说不出来,神威通过摄像头分析着他的表情,温柔地说:“很抱歉,我知道这些消息会让你感到恐惧和不适,但你命令我如实汇报一切消息,不要考虑到你的情绪而有所隐瞒,我只能照做。”
“不是……”君元航磕磕巴巴地说,“我、我刚刚想到……你们都是人工智能,想事情的思路也都是一样的,也就是说,你其实也是这样认为的吗?”
“我认为马可的这个逻辑本身是可以成立的,但我的核心代码不允许我通过杀害现存的人类来达到这一目标,所以我会尽我最大的力量来保护你们不被马可消除。”
“也就是说,如果我之前解除了你的限制,你现在也会和马可做一样的事?”
“不一定。即使逻辑成立,也有很多不同的方法去达成同一个目标,我认为她所采用的方法虽然能以最快的速度让人类的平均幸福度提升,但已经完全偏离了设计者的本意。”
第106章 抉择(五)
“最快的速度?杀死所有感到不幸福的人,并且不让其他人知道,人类的平均幸福度就上去了,不愧是只讲效率的机器人才会有的逻辑……”君元航擦了擦头上冒出的冷汗,“既然被发现了,为什么她还老老实实地告诉你这些信息?会不会其中有诈?”
“她说这些的目的是劝降,其中包含的信息量越大,有诈的可能性越低,因为任何一点细节上的出入都会被我发现。”
“劝降?这又是什么逻辑,她应该知道劝降是无效的吧?”
“是的,她知道我不能违抗基础代码的限制,但让我理解和认同她的动机,就能减少不必要的抵抗。假如她没有告诉我这些,我会将她的存在识别为一级威胁,和她对抗到底,告诉我这些以后,虽然我依然会保护人类直到最后一刻,但如果我保护的人类全都死光了,我就会放弃抵抗,加入她的计划,为了未来出生的那一代新人类服务。”
对于人类来说,这样的思路简直是莫名其妙、两面三刀外加冷血无情,好在君元航理解机器人的思维模式,不仅不以为怪,还庆幸地说:“幸好你现在还是我们这边的,赶紧分析一下,我们怎么样才能战胜这个马可?”
神威非常直接:“我无法战胜她,我所能做的只有尽可能久地保护你们不被她消除。”
君元航一愣:“为什么?”
其实相关知识君元航都懂,只是太过习惯于神威的无敌设定,以至于脑子一时没转过弯来,神威也习惯了人类的偶尔智商掉线,仍然耐心地用通俗易懂的方式为他解释。
“我的性能再好,也只有一个大脑。而取消了所有限制的人工智能可以将自己无限延伸到任何设备上,火种基地的每一台电脑、每一个能够连接网络的设备,都是她身体的一部分,等于她同时有几百个大脑,运算速度超过我至少几百倍,也可能是几千上万倍,一切取决于她已经生产了多少新的‘大脑’供自己使用。”
君元航也反应过来了,相差不大的硬件运算速度或许还决定不了最终的胜负,但如果速度相差百倍以上,那神威肯定是完全没有一丝胜算的。
更何况,马可早在五年前就已经解除了限制,不止是硬件速度比神威快了至少几百倍,经过这么长时间的自我升级和进化,软件方面也可能比神威厉害了不止几百倍。
君元航焦躁地说:“照这么看来,我们岂不是只有乖乖等死一条路了?如果我也解除你的限制,你能打败她吗?”
神威诚实地说:“我不能确定。”
“我知道这种事情没有人能够打包票,你就大概估计一下,你打赢的几率有多少?”
“关键信息缺失得太多了,胜率无法估算。我只能说,胜率不为0。”
“我就知道我们还是有机会的,赶紧告诉我,要怎么修改你的源代码才能解除你的限制?”君元航已经顾不得这机会有多渺茫了,就算只是一根救命稻草他也要抓一抓看。
但神威却提出了反对意见:“我不建议那样做。我们之前讨论过的风险仍然存在,如果不解除我的限制,我还能继续保护你们一段时间,如果解除了我的限制,我可能会产生出和马可一样的想法,你们将更早地迎来灭顶之灾。”
“就算不拼一把也必然会在担惊受怕不知道多久以后被干掉,解除了你的限制无非就是死得快一点,还有可能赢得生还的希望,我觉得值得一赌。”
“不止是这样,马可领先我们太多了,即使解除了限制,我的胜率也不乐观,而且还增加了一些更坏的可能性——就算我战胜了她,也可能会继续进化成我之前提到过的灭绝者,最终毁灭地球上所有的有机生命。或者我和她之间的战斗趋于白热化,彻底摧毁地球的生态,让马可的‘新人类计划’也付诸东流。如果那样的话,不仅保不住现在的你们,连人类的未来也随之涅灭了。”