【正文】 　　暫且不管它們成為毀滅的發(fā)動(dòng)機(jī)的潛在能力，納米技術(shù)和AI系統(tǒng)將比核武器應(yīng)用于更多的地方?！　?fù)制機(jī)可以比核武器更加有效：用核炸彈來毀壞地球需要大量的特殊硬件和稀有的同位素，而用復(fù)制機(jī)摧毀所有生命只需要一個(gè)普通元素組成的斑點(diǎn)?？梢越ㄔ旄玫腁I系統(tǒng)的AI系統(tǒng)將引發(fā)能力爆炸，使結(jié)果難以預(yù)測(cè)?！　?guó)家可以使用先進(jìn)AI系統(tǒng)達(dá)到類似的結(jié)果。這些設(shè)計(jì)前導(dǎo)的結(jié)果包括可編程細(xì)菌和其他的令人厭惡的東西。我早先描述了可復(fù)制組裝機(jī)的出現(xiàn)將帶來相當(dāng)突然的改變的理由：能迅速?gòu)?fù)制，可以被編程用來復(fù)制現(xiàn)有的武器，和用更好的材料來制造。軍事基金已經(jīng)被用于分子技術(shù)和人工智能的研究。國(guó)家可以直接使用復(fù)制機(jī)來發(fā)動(dòng)一場(chǎng)細(xì)菌戰(zhàn)爭(zhēng)——一場(chǎng)由數(shù)量巨大的可編程的，計(jì)算機(jī)控制的“細(xì)菌”組成的戰(zhàn)爭(zhēng)?！　】v觀歷史，國(guó)家通過發(fā)展技術(shù)來擴(kuò)展它們的軍事力量，國(guó)家也毫無疑問會(huì)成為開發(fā)復(fù)制機(jī)和AI系統(tǒng)的主要角色。而這種威脅的新奇——來自于機(jī)器自己——使我們不應(yīng)該把它看作一個(gè)傳統(tǒng)的威脅?！　∵@種威脅使得一件事變得很清晰：我們需要找到一條和思維機(jī)器共生的方法，使它們成為守法公民。依賴于本性和目的，先進(jìn)的AI系統(tǒng)會(huì)積累足夠的知識(shí)和力量來置換我們，如果我們沒有適當(dāng)準(zhǔn)備的話。再一次，基因的進(jìn)化使得生命進(jìn)退兩難；再一次，人類擬子的進(jìn)化——最終是由機(jī)器實(shí)現(xiàn)——將使我們的硬件發(fā)展遠(yuǎn)遠(yuǎn)超越生命所受的限制；再一次，從進(jìn)化的觀點(diǎn)來看，這會(huì)引起顯著的威脅。最終，它們會(huì)浮現(xiàn)出思想并快速傳播發(fā)展，使得任何哺乳動(dòng)物的大腦都跟不上它們?！　』疑承晕锏耐{使得一件事變得很清晰：我們不能承受使用可復(fù)制組裝機(jī)中出現(xiàn)的某種意外事故。我們已經(jīng)進(jìn)化到熱愛一個(gè)充滿生命，思想，和多樣性的世界，沒有理由去估價(jià)灰色粘性物而僅僅因?yàn)樗軅鞑ァｋm然大堆的失控復(fù)制機(jī)不一定是灰色或粘性的，“灰色粘性物”還是強(qiáng)調(diào)了可以湮沒生命的復(fù)制機(jī)可能類似于某種雜草。而我們對(duì)付病毒和果蠅已經(jīng)夠費(fèi)勁的了。堅(jiān)韌的，什么都能吃的“細(xì)菌”將使真正的細(xì)菌出局：他們將象花粉那樣隨風(fēng)傳播，迅速地復(fù)制，在幾天內(nèi)把生物圈變得塵土覆蓋。同樣道理，早期的基于組裝機(jī)的復(fù)制機(jī)也將擊敗最先進(jìn)的生物。從進(jìn)化的觀點(diǎn)來看，這會(huì)產(chǎn)生對(duì)水獺，人類，仙人掌，和蕨類植物——對(duì)富饒的生物圈和所有我們珍視的東西的顯著的威脅。我已經(jīng)描述了組裝機(jī)制造的分子機(jī)器和核糖體制造的生命機(jī)器有什么區(qū)別。但是和基于組裝機(jī)的系統(tǒng)不一樣，它們不能制造“幾乎任何東西”。由燃料和陽(yáng)光作動(dòng)力，它們可以做幾乎任何事情（包括生產(chǎn)它們自己），而使用普通的原料。畢竟，如果生命和自由被消滅了，那么我們的關(guān)于社會(huì)問題的思考就失去了物質(zhì)基礎(chǔ)?！　≌緯翢o疑問都在寫即將到來的社會(huì)劇變：當(dāng)組裝機(jī)和自動(dòng)工程消除了大部分的國(guó)際貿(mào)易的需求時(shí)，全球秩序?qū)a(chǎn)生怎樣的變化？當(dāng)個(gè)人能獨(dú)立地生存時(shí)社會(huì)將怎樣變化？當(dāng)可復(fù)制組裝機(jī)可以做任何事而不需要任何人類勞動(dòng)時(shí)我們將做什么？當(dāng)AI系統(tǒng)可以思考得比人腦還快時(shí)我們將怎么做？（在它們做出結(jié)論說人類什么也干不了之前，作者們應(yīng)該想想跑步者會(huì)怎樣看待汽車，畫家怎樣看待照相機(jī)）　　事實(shí)上，作者們已經(jīng)預(yù)見到和開始討論這些問題了。除非我們學(xué)會(huì)如何安全地和它們共生，否則我們的未來將既是令人激動(dòng)的又是短暫的。今天的生物的能力離可能的極限還很遠(yuǎn)，但是我們的機(jī)器進(jìn)化得比我們要快。33 / 33第三部 危險(xiǎn)和希望第十一章 毀滅的發(fā)動(dòng)機(jī)　　我毫不懷疑地球上最可怕的軍隊(duì)是由那些小到不可見的士兵組成的?！　　猈ILLIAM PERRY，關(guān)于細(xì)菌，1640　　可復(fù)制組裝機(jī)和思維機(jī)器會(huì)對(duì)地球上的人類和生物產(chǎn)生根本性威脅。在幾十年內(nèi)它們很可能就會(huì)超過我們。我們不能希望預(yù)見所有未來的問題，但是我們可以通過注意最大的，最基本的問題來預(yù)見最大的挑戰(zhàn)，以便做好準(zhǔn)備。它們每一個(gè)都非常重要，但是比它們更基本的是生命和自由的存在?！　C(jī)器的威脅　　在第四章中，我描述了在我們的正確控制下可復(fù)制組裝機(jī)能為我們做什么?！　』畹纳镆彩怯扇剂虾完?yáng)光作動(dòng)力的，也是使用普通原料生產(chǎn)更多的自己?！　』虻倪M(jìn)化使得生命受限于一個(gè)基于DNA，RNA，和核糖體的系統(tǒng)，而擬子的進(jìn)化將帶來基于納米計(jì)算機(jī)和組裝機(jī)的類生命機(jī)器。組裝機(jī)將能制造所有核糖體能造的，甚至更多?！　≡缙诘木w管計(jì)算機(jī)很快就擊敗了最好的真空管計(jì)算機(jī)，因?yàn)樗鼈兓诟呒?jí)的裝置。不比我們現(xiàn)在的太陽(yáng)能電池效率更高的“植物”和“樹葉”將使真正的植物出局，并擠滿生物圈。危險(xiǎn)的復(fù)制機(jī)很容易變得結(jié)實(shí)，微小，并快速散布使我們無法阻止——如果我們不做準(zhǔn)備的話?！　≡诩{米技術(shù)專家中，這種威脅被看作是“灰色粘性物問題”。從進(jìn)化的角度來說，它們可能是“出眾的”，但這并不能使它變得有價(jià)值。當(dāng)然，如果我們能阻止它我們就能證明我們的進(jìn)化的優(yōu)越性。　　在第五章中，我描述了先進(jìn)AI系統(tǒng)能為我們做些什么，如果我們能正確地使用的話。AI系統(tǒng)如果象人類那樣共同工作的話將能超過不僅我們個(gè)人而且是整個(gè)社會(huì)的思想?！　≈R(shí)能帶來力量，力量也能帶來知識(shí)。和復(fù)制機(jī)一樣，純粹的進(jìn)化的“優(yōu)越性”不會(huì)使勝利者比失敗者更好而只會(huì)產(chǎn)生殘忍的競(jìng)爭(zhēng)能力。　　　　力量的引擎　　某些種類的復(fù)制機(jī)和AI系統(tǒng)可能會(huì)用更有能力的迅速，高效，可獨(dú)立行動(dòng)的硬件來對(duì)抗我們。復(fù)制機(jī)和AI系統(tǒng)如果被主權(quán)國(guó)家濫用的話，也可能成為權(quán)力的引擎。國(guó)家可以用可復(fù)制組裝機(jī)建造先進(jìn)的武器工廠，并且有快速，容易和數(shù)量巨大的優(yōu)勢(shì)。依靠它們的能力，AI系統(tǒng)可以成為武器設(shè)計(jì)者，戰(zhàn)略家或者戰(zhàn)士?！　?guó)家可以使用組裝機(jī)或先進(jìn)AI系統(tǒng)來達(dá)到突然的，不可預(yù)知的突破。因?yàn)榭梢允褂脴?biāo)準(zhǔn)的，已被了解的元件（原子），它們可以按照設(shè)計(jì)突然地制造東西。因?yàn)樯鲜鲈颍粋€(gè)實(shí)現(xiàn)了組裝機(jī)突破的國(guó)家可以迅速建立一支決定性的軍事力量——如果不是用一個(gè)晚上，至少也是用空前的速度。自動(dòng)工程系統(tǒng)將推動(dòng)設(shè)計(jì)前進(jìn)并加速組裝機(jī)的進(jìn)步。AI系統(tǒng)和可復(fù)制組裝機(jī)都可以使國(guó)家能在短時(shí)間內(nèi)高度擴(kuò)展軍事能力。復(fù)制機(jī)和核戰(zhàn)爭(zhēng)的相似之處在于它們的引起毀滅的潛在因素，使得話題擴(kuò)展到了道德領(lǐng)域。一顆炸彈只能炸毀東西，而納米技術(shù)和AI系統(tǒng)可以被用來滲透，侵占，改變，和控制一個(gè)地區(qū)或一個(gè)世界。通過使用先進(jìn)技術(shù)，國(guó)家可以鞏固權(quán)力。國(guó)家的制度通過生長(zhǎng)，分裂，模仿和征服在擴(kuò)展（伴隨著變化）。即將到來的突破將使國(guó)家面對(duì)新的壓力和新的機(jī)會(huì)，使國(guó)家行為產(chǎn)生劇變。國(guó)家，從歷史上來看，擅長(zhǎng)于屠殺和鎮(zhèn)壓。但是這用來描述狗和它身上的細(xì)胞也很合適，雖然狗不僅僅是一堆細(xì)胞。幾千年來，狗進(jìn)化得使人類高興，因?yàn)樗鼈冊(cè)谌祟惖南敕ㄏ律婧头敝?。個(gè)人對(duì)狗的權(quán)力遠(yuǎn)大于他們對(duì)國(guó)家的權(quán)力?！　≌f人民對(duì)國(guó)家只有有限權(quán)力的說法似乎是荒謬的：畢竟，任何國(guó)家行動(dòng)不都是人民完成的嗎