早上,当你打卡完成走到工位,结果发现旁边的座椅上空无一人——你的同事张大锤不见踪影,只剩下一个写着“张大锤。skills”的牌子放在电脑前——是的,你的同事张大锤被“蒸馏”成 AI Skills 了。
这看似惊悚的事情却成了最近的新闻热点:AI,具体来说是 LLM 即将取代很多人的工作。而若是从科幻的角度,我们还会有另一种观察:将人类蒸馏成 AI Skills,这应该算作一种“超低配”意识上传技术。不知道有多少人都想过“要是有另一个我能代替我上班就好了”,现在梦想不是成真了吗?
复制的我和我,谁听谁的?
俗话说得好:我原本以为 AI 是帮我扫地搬砖清厕所刷墙的,我去搞绘画文学艺术影视,结果现在成了 AI 去搞绘画文学艺术影视,我去扫地搬砖清厕所刷墙。你把你自己的意识复制出来,让“他”己去上班,那么“他”自己会不会也和我一样,说:我才不要上班,我要在家睡大觉,你去上班!
这确实是一个真实的问题:我怎么让我的复制体听我的话呢?我是听*我*的呢,还是*我*听我的?
芬兰作家哈努·拉亚涅米在《量子窃贼》中描绘了一个量子技术突破后的太阳系。设定里,人类已经能够自由的上传并且复制自己的意识。脱离肉体的意识被称作“魂灵儿”——这个名字来自果戈理的《死魂灵》。其中最大的一个派系叫做“索伯诺斯特”,由七位创始人建立,每人都将自己的意识复制成无数份,建立起横跨太阳系的帝国。这七位创始人称之为“元祖”,每一位都拥有一颗地球大小的计算机,称之为“固伯尼亚”,其中有无数个自己的数字意识。这种组织就遇到了这样的问题:听谁的?谁有最终决定权?
拉亚涅米构思了一套被称为”孝”(Xiao)的权限体系解决了这个问题。每个索伯诺斯特成员内嵌树状权限结构,复制体作为”下线”必须无条件服从”上线”,而本体又服从于更上层的复制源。每一个复制体都明确知道自己是被哪个“上线”分叉出来的,并且被编程为对自己的特定谱系怀有一种“宗教般的敬畏”和忠诚。如果你是被人复制出来的副本,你就会对你的“上线”产生强烈的敬畏和服从感,对“副本祖父”会更敬畏、更服从,而对谱系顶端的“元祖”则怀有终极的忠诚。这个系统借用中国传统伦理概念——下级对上级绝对服从,正如子女对父母的顺从。有趣的是,中文版将”孝”译为”晓”,可能是避讳,但原文直白地揭示了这种关系的本质:这实际上是一套技术化的宗法制度,用代码强制执行伦理义务。
这个移植不能说没有道理。“孝”在中国传统文化里本身就是一种基于血缘的代际权力结构:父母生了你,你就对父母有某种天然的义务。而意识复制的关系其实比血缘更“直接”——你不是被你父亲生出来的,你根本就是被你父亲“制造”出来的,你和他拥有完全相同的记忆和人格基底,只是被指派去做特定的任务。在这种情况下,如果没有任何权力结构来约束彼此的行为,这些副本之间几乎必然会陷入混乱:凭什么我去执行危险的任务而你在安全的地方?凭什么我来上班而你去玩?谁来决定哪个副本做什么?
这个设计的冷峻之处在于它坦然地接受了一个前提:复制自己并不会给你带来自由,只是让你多了一群必须听你话的“自己”。权力关系并没有消失,它只是从人与人之间转移到了“我”与“我”之间。你原以为复制自己是解放——终于有人替我干活了——但最终发现这不过是在自己的内部建立起了一套微型专制体系。
自己给自己当管家
如果说《量子窃贼》关心的是复制体之间的权力关系,那么《黑镜》2014 年的圣诞特别篇《白色圣诞节》则关心一个更实际的问题:复制的意识具体用来干什么?
这一集中有一个支线故事讲得很简练:一个叫 Greta 的女富翁上传了自己的意识,目的仅仅是让自己的意识副本成为智能家居的控制系统。技术方案是把意识的数字拷贝放进一个被称为“Cookie”的设备中——这个设备神似智能音箱,但里面装着的不是算法,而是一个完整的人类意识副本。Cookie 知道主人生活的每一个细节:什么时候叫她起床,早餐面包的软硬度调到什么程度刚刚好,咖啡加多少牛奶,窗帘拉开到什么角度光线最舒服。不是因为它被训练过,而是因为“它”就是 Greta 本人——至少曾经是。
这个设定的黑色幽默在于:最了解你生活习惯的人是你自己,所以最理想的智能管家就是你的意识副本。你不需要花时间去调教一个 AI 助手,不需要反复告诉它“我不喜欢太烫的咖啡”“音乐音量不要超过 40%”“周末不要九点之前叫我”。你只需要复制一个自己,然后让她去琢磨这些事情。她天然就知道。
想象一下,被囚禁在那个白色蛋形设备里、永远重复着“调窗帘、煮咖啡、放音乐”的循环时,它感受到的是什么?剧中有一幕相当残忍:当副本试图反抗时,操作人员轻描淡写地调了一下时间感知参数——副本在设备里经历了几周甚至几个月的主观时间,而现实中只过去了片刻。它很快就屈服了。
这种做法的底层逻辑其实和开头提到的那条新闻非常接近:把老员工蒸馏成 skills。你不必再付工资,不用处理劳动关系,不需要考虑对方有没有心情工作。你只需要把经验提取出来,变成可以无限调用的模块,就可以继续使用。唯一的区别是:在《黑镜》里被蒸馏的不是别人,而是你自己。
当然,可以看得出在这里《黑镜》的编剧还是比较手下留情,没有使用更可怕的逻辑——在科幻动画《万神殿》中,那个黑心的印度电信公司老板将他那个技术天才下属上传,关在一个虚拟现实里,让他误以为自己是第一天上班,然后 24 小时重启——弗诺文奇有一篇小说叫做《循环》也是这个点子,一堆数字意识在一个虚拟现实里做客服工作,这个虚拟现实是一个循环,让他们以为自己每天都是第一天上班,这样就不会出现工作倦怠的问题。实际上在《黑镜》里对这个 Cookie 也可以做同样的操作:让她始终在某种虚拟现实环境之中不断重启就可以了,恰如我们使用 LLM 会不断的重新开新对话——这时候,万一我们多问一句:LLM 在回答我们的问题的时候,它真的感受到了什么吗?
那个“我”的痛苦算不算痛苦?
到了这一步,问题其实已经变了:当意识被蒸馏、被复制、被工具化之后,我们如何处理与这些“非我之我”之间的关系?它们到底是工具,还是另一种形态的自我意识(或人)?如果“他们”受苦,这件事和我们有关系吗?
澳大利亚作家格雷格·伊根的短篇《意识上传中》把这个追问推到了更深的层次。伊根是一个相当神秘的作家,网络头像用的是五国语言版本的“网络上没有我的照片”,个人网站上是八国版本的同一条声明,还特别说明网络上的任何照片都不是他本人。这种神秘本身就像一个关于“我是谁”的持续声明。而他的小说,无论在技术上有多硬核,骨子里都是在追问同一个问题:当技术让“我”变得可以切割、复制、转移之后,“我”还剩下什么?
短篇《意识上传中》的设定本身并不复杂。故事讲的是一位男性收到绑匪的电话,视频里出现他妻子求救的画面,绑匪要求五十万澳元赎金。他慌乱中往家里打电话,发现现实中的妻子安然无恙。最终他意识到,绑匪并没有绑架他妻子的肉身,而是盗取了他自己上传的意识数据,从中提取并合成了妻子的虚拟形象,将其困在虚拟空间中受折磨。
故事真正的力量不在这个反转本身,而在于结尾。尽管主人公清楚地知道,现实中妻子的肉身是安全的,被折磨的不过是一个数字副本,但他最终还是支付了赎金——只为了让对方停止折磨那个虚拟的妻子。他的妻子在现实世界里理性地告诉他:没有人真正在受苦,没有人需要被拯救。但他做不到。
这就是格雷格·伊根最擅长的事情:把一个技术问题硬生生逼成一个哲学问题。意识虽然是虚拟的,但那个虚拟意识的痛苦感受算不算真实的痛苦?如果那个意识以他妻子的方式在受苦——用她的面容、她的声音、她记忆中的那些微表情——他是否能够心安理得地告诉自己“这只是数据”?
这个问题在哲学上不是新鲜事。1980 年代,侯世达和丹尼特在《心我论》里就讨论过类似的思想实验:如果一个人的意识被完整扫描并复制到另一个载体中,新产生的那个意识体是否拥有和原版相同的道德地位?更激进的版本来自丹尼特:假如你的身体被扫描、摧毁、然后在另一个地方被精确复制出来——那个复制品还是“你”吗?但伊根的小说的精妙之处恰恰在于他超越了这种哲学论辩:主角在看见妻子求救的视频时,觉得无法不管。
这能说明什么呢?或许意味着,对于虚拟的意识而言,受苦的感觉是主观的,然而也是真实的。人类的镜像神经元就是这么发挥作用的。你无法通过哲学论证来说服自己“那不算数”,因为看见那张脸的时候,你脑子里负责共情的那些神经元已经在运作了。
终,蒸馏你,蒸馏我,蒸馏我们二零年代的新一辈
在《量子窃贼》里,意识上传技术最早就是一个骗局——将大脑扫描进计算机需要损毁大脑,所以上传是一张单程票。于是黑心资本家们雇佣了广告公司和销售,去那些贫穷的国家销售“上传是天堂”这一理念,然而这些穷人被上传之后只能够进入云端的代码血汗工厂做赛博奴工。
把这三部作品放在一起看,科幻小说对意识复制的想象轨迹大致可以描述为:从“如何实现”(技术问题),到“实现之后怎么办”(社会问题),再到“如果我们真的能做了,我们应当做吗”(伦理问题)。这种递进并不偶然,每一层追问都是在把“人可以被复制”这个命题往前推一步,而每一步推过去,原先的答案就不再够用。
《量子窃贼》用“孝”系统回答了复制体之间的权力结构问题,答案很不浪漫:即便是自己复制自己,也需要等级和服从。《黑镜:白色圣诞节》展示了复制体被用作劳动工具时会发生什么——为了让一个人过上不被打扰的生活,你得先创造一个被打扰的自己。这根本不是什么解放,这只是剥削的转移,只不过剥削的对象从别人变成了自己。而格雷格·伊根更进一步追问:如果我们知道那个被复制出来的“非我之我”正在受苦,我们能不能假装无所谓?至少短篇里的主人公做不到。如果他做不到,那我们大概也做不到。
现在回到开头那条新闻。把人类同事蒸馏成 skills,听上去只是一个技术效率的故事:公司省钱,系统提速,一切都在变好。但问题是:这个“变好”是谁在变好呢?可以看出,无论是权限树,还是“复制自己”,还是“假装第一天上班”,实际上都是要解决人性之中那些不适合资本无限增值逻辑的部分。到头来资本主义机器变成全自动运行,那还有你我什么事呢?
科幻小说已经替我们把这些都想过了。它的结论大致是:蒸馏别人很可能是灾难的前奏,而蒸馏自己则根本不是解放。到头来,那个替你上班的“你”,终究会发现谁才是那个真正的囚徒。
作者:邓思渊
编辑:卧虫