【正文】 　　世界上的某些力量（無(wú)論是否可以信賴）將會(huì)在組裝機(jī)的開(kāi)發(fā)中處于領(lǐng)先地位，成為“領(lǐng)導(dǎo)力量”?！　∈裁礃拥闹萍s機(jī)制可以通過(guò)制度的多樣性和冗余來(lái)增長(zhǎng)政府的可靠性呢？當(dāng)我們建造智能機(jī)器時(shí)，我們將使用它們來(lái)彼此制約。公司，軍隊(duì)，和研究實(shí)驗(yàn)室都是例子?！　∪祟惖慕M織機(jī)構(gòu)是進(jìn)化了的人工系統(tǒng)，它們可以解決個(gè)體解決不了的問(wèn)題。我們面對(duì)的挑戰(zhàn)是如何正確地設(shè)計(jì)它們。更甚者，由于系統(tǒng)可以在很多種機(jī)器中傳播并且部件是由很多人寫成的，它會(huì)是多樣的，充滿活力的，并且任何團(tuán)體也不能獨(dú)占和濫用。一個(gè)方案（稱為Agora系統(tǒng)，源自會(huì)議和集市的希臘術(shù)語(yǔ)）由很多獨(dú)立的軟件部分組成，它們彼此之間通過(guò)交換服務(wù)和錢來(lái)互相影響，很多部分是簡(jiǎn)單的和專門化的，一些部分能提出設(shè)計(jì)變更，其他的部分可以分析。　　我經(jīng)常把AI系統(tǒng)和人腦相比，但是相似之處不一定很接近。由于可以用比我們快一百萬(wàn)倍的速度思考，它們將可以有足夠的時(shí)間反復(fù)考慮。類似的冗余形式將幫助AI系統(tǒng)發(fā)展健全的想法。更多的提案使得好的建議更普遍，更多的反對(duì)者使得壞的建議更容易受到攻擊。這是普遍真理，無(wú)論是在科學(xué)上，技術(shù)上，在AI系統(tǒng)，還是在我們的大腦中。他們指出科學(xué)的多態(tài)性，互相競(jìng)爭(zhēng)的提案、支持者、反對(duì)者的多樣性。為了避免陷入初始的錯(cuò)誤想法之中，它必須考慮不同的觀點(diǎn)，看看那個(gè)能更好地解釋數(shù)據(jù)，并且看看一個(gè)觀點(diǎn)是否能解釋另外一個(gè)?！　∫粋€(gè)真正的，靈活的AI系統(tǒng)應(yīng)該能夠進(jìn)化想法?；诘赖禄A(chǔ)的拒絕行動(dòng)的心靈部件我們稱為良心。（的確，一些先進(jìn)的機(jī)器視覺(jué)系統(tǒng)已經(jīng)可以處理常見(jiàn)的光學(xué)幻象），就象人腦的某些部分可以識(shí)別并補(bǔ)償幻影一樣，AI系統(tǒng)的某些部分也可以。其他的部件可以比較和判斷上述數(shù)據(jù)。每個(gè)部件相對(duì)整體來(lái)說(shuō)都是專門的和低智能的。這使得話題擴(kuò)展到了關(guān)于開(kāi)發(fā)可信賴的人工智能系統(tǒng)的范圍。有了意識(shí)，我們可以做的更好。我們能可靠地進(jìn)化好的設(shè)計(jì)而不必成為可靠的優(yōu)秀的設(shè)計(jì)師：我們只要擅長(zhǎng)測(cè)試，擅長(zhǎng)修補(bǔ)，和有耐心就行?！　〉侨绻窃O(shè)計(jì)錯(cuò)誤又怎樣呢？如果有一個(gè)共同的設(shè)計(jì)上的錯(cuò)誤那么就是使用一打的通用部件也沒(méi)用。　　除掉外在因素，由大量無(wú)故障的元件組成的冗余系統(tǒng)通常能帶來(lái)幾乎完美的可靠性。更糟的還有，冗余系統(tǒng)的元件可能以可見(jiàn)的形式失效，引發(fā)驚慌：想象一下媒體將如何報(bào)道一座吊橋的繩索斷裂，即使這座吊橋是上面說(shuō)的超級(jí)可靠的十五根繩索的吊橋。心理因素也扭曲了我們對(duì)怎樣制造可靠的東西的看法：錯(cuò)誤存在于我們大腦中，但是每天幾乎不引起我們的注意?！　〗裉?，我們很少想到購(gòu)買最安全的系統(tǒng)，我們可以容忍錯(cuò)誤而很少考慮到可靠性的真正極限。而納米技術(shù)，將使得大部分東西大幅度地變輕，變小，變便宜，和變得更有效率?！　∥覀兛梢越ㄔ鞓O度可靠的系統(tǒng)，但是將增加成本。就象修復(fù)機(jī)器可以比較多個(gè)DNA鏈來(lái)糾正細(xì)胞內(nèi)的基因變異一樣，可以比較多個(gè)相同指令的拷貝的復(fù)制機(jī)（或其他有效的糾錯(cuò)系統(tǒng)）將能抵抗變異。這使得開(kāi)發(fā)和運(yùn)行的成本成倍地增加，但是使得最終的軟件可以消除由于部件故障產(chǎn)生的錯(cuò)誤?！　≡趯懘笮偷模瑹o(wú)故障程序時(shí)這種方法應(yīng)用的更多，很多人認(rèn)為這樣的程序不可能被開(kāi)發(fā)和調(diào)試。在計(jì)算機(jī)硬件方面，這意味著使用幾個(gè)不同設(shè)計(jì)的計(jì)算機(jī)，并行地工作。當(dāng)一對(duì)CPU工作不正常時(shí)，另外一對(duì)就替換上去。　　計(jì)算機(jī)工程師也使用冗余。如果我們不信任設(shè)計(jì)過(guò)程，我們就必須使用獨(dú)立設(shè)計(jì)的元件，如果一顆炸彈，子彈，或宇宙射線可以摧毀幾個(gè)相鄰的部件，我們就必須更寬地?cái)U(kuò)展冗余部件。冗余可以帶來(lái)指數(shù)式增長(zhǎng)的安全系數(shù)。那么橋的安全壽命為一千萬(wàn)年。（關(guān)于此計(jì)算，英文網(wǎng)絡(luò)版有注解）　　在改進(jìn)的同時(shí)，危險(xiǎn)仍然存在。要摧毀這座橋，必須在一天內(nèi)斷兩根繩子才行。如果斷了的繩索要一天的時(shí)間修復(fù)（工人技術(shù)熟練并且有隨時(shí)備用的繩索），并且，如果需要五根繩子支撐吊橋，實(shí)際上用了六根。我們可以想象一座繩索吊橋，繩索會(huì)隨機(jī)斷裂，每年一次隨機(jī)發(fā)生。對(duì)一個(gè)足夠小的元件來(lái)說(shuō)（即使是現(xiàn)在的計(jì)算機(jī)內(nèi)存），一個(gè)輻射粒子就可能引起動(dòng)作失誤。這將使它們完美地統(tǒng)一和完美地可靠?！　∫饬现獾脑收贤ǔＪ怯刹牧系娜毕葑躺?。　　一個(gè)可靠的元件不必是一個(gè)完美設(shè)計(jì)方案的完美體現(xiàn)：它只需要是一個(gè)謹(jǐn)慎的設(shè)計(jì)方案的足夠好的體現(xiàn)就行了。它甚至也不意味著“結(jié)實(shí)”——一個(gè)電視可能是可靠的，但是如果摔倒水泥地上就會(huì)壞了?！　∥覀兘?jīng)常制造可靠的元件，即使沒(méi)有組裝機(jī)的幫助。為了信任，我們必須能準(zhǔn)確地判斷技術(shù)現(xiàn)實(shí)，這部分地依賴于我們的決策機(jī)構(gòu)的質(zhì)量。我們的戰(zhàn)略必須包括人民，法律，和制度，而這些戰(zhàn)略也必須依賴于不可避免地和技術(shù)有關(guān)的戰(zhàn)術(shù)。并且，象烏托邦理想被實(shí)現(xiàn)一樣，它將帶來(lái)一個(gè)充滿奇跡的未來(lái)。這個(gè)目標(biāo)聽(tīng)起來(lái)不是太理想化，至少在世界的某些部分來(lái)說(shuō)。這些可能性將給我們的生活帶來(lái)真正的威脅?！　』镜膯?wèn)題是明顯的：在未來(lái)，和過(guò)去一樣，新技術(shù)將會(huì)出現(xiàn)意外并且被濫用。有一點(diǎn)值得安慰，似乎國(guó)家更愿意也可以用生物學(xué)意義上的奴役我們來(lái)代替簡(jiǎn)單地殺死我們。先進(jìn)技術(shù)將使工人變得無(wú)用并且使屠殺變得容易。國(guó)家需要人民作為工人因?yàn)槿祟悇趧?dòng)是權(quán)力建立的必要基礎(chǔ)。這將開(kāi)放新的可能性，某些這種可能性可能是值得爭(zhēng)取的。　　在第一種情況中，我們的國(guó)家由人類組成并且為普遍的人類目標(biāo)服務(wù)，民主制度至少與這個(gè)理想是接近的。納米技術(shù)與先進(jìn)AI系統(tǒng)的組合可以制造出聰明的，高效的機(jī)器人，有了這些機(jī)器人，國(guó)家就可以在繁榮昌盛的同時(shí)拋棄任何人，或甚至（理論上）所有人。一個(gè)具有可復(fù)制組裝機(jī)的國(guó)家不需要人做這些工作?！　〉怯辛讼冗M(jìn)技術(shù)，國(guó)家就不需要控制人民——它們只要簡(jiǎn)單地拋棄人民就行了。使用象細(xì)胞修復(fù)機(jī)器那樣的納米技術(shù)，它們可以實(shí)行便宜的，安靜的腦部切除手術(shù)，或者改變整個(gè)人群。使用可復(fù)制組裝機(jī)，國(guó)家可以在人類生活環(huán)境周圍布滿微小的監(jiān)督裝置。政府權(quán)力的增長(zhǎng)，最明顯的在極權(quán)國(guó)家，顯示了一個(gè)方向。我們希望進(jìn)步，同時(shí)不應(yīng)該搞混披著人性外衣的國(guó)家和擁有慈善團(tuán)體的國(guó)家。　　盡管如此，歷史顯示了改變是可能的，甚至可以越改越好。即使國(guó)王也受限于君主政體的傳統(tǒng)和權(quán)力的使用，如果他們要保留國(guó)王的話。國(guó)家運(yùn)轉(zhuǎn)受到人的影響，但是沒(méi)人能聲稱自己控制了它。雖然國(guó)家也可以從使人高興中獲得利益，但它們的存在主要是靠它們驅(qū)使人民的能力，無(wú)論對(duì)象是領(lǐng)導(dǎo)者，警察，還是士兵。幾千年來(lái)，國(guó)家也在不同的選擇性壓力下進(jìn)化。狗和國(guó)家都是進(jìn)化系統(tǒng)，具有影響它們行為的結(jié)構(gòu)。　　在某種意義上，國(guó)家是由人構(gòu)成的組織機(jī)構(gòu)的總和：他們的行動(dòng)加起來(lái)形成了國(guó)家行為。這自然會(huì)被關(guān)注。戰(zhàn)爭(zhēng)中的國(guó)家象野獸，只是把公民當(dāng)作它們的骨頭，腦袋和肌肉?！　?guó)家也在進(jìn)化著象基因，擬子，生物，和硬件這些東西。即使最殘忍的警察機(jī)關(guān)也不會(huì)使用核武器，但是他們會(huì)使用竊聽(tīng)器，麻醉藥，殺手，和其他靈活的力量。