【文章內(nèi)容簡(jiǎn)介】 靠運(yùn)輸?shù)墓こ處煵荒苤豢吭跇蛏显黾永K索來(lái)提高安全性，他們要建造兩個(gè)結(jié)構(gòu)不同的相互獨(dú)立的橋，還可能要增加一個(gè)隧道，一艘渡船，和兩個(gè)機(jī)場(chǎng)?！　∮?jì)算機(jī)工程師也使用冗余。例如層云（Stratus）計(jì)算機(jī)公司，制造了一臺(tái)使用四個(gè)中央處理器（兩對(duì)）的計(jì)算機(jī)來(lái)做只要一個(gè)中央處理器就可以做的工作，但是工作起來(lái)要可靠的多。當(dāng)一對(duì)CPU工作不正常時(shí)，另外一對(duì)就替換上去。　　一個(gè)更有效的冗余形式是設(shè)計(jì)的多樣性。在計(jì)算機(jī)硬件方面，這意味著使用幾個(gè)不同設(shè)計(jì)的計(jì)算機(jī)，并行地工作。那么就可以不僅糾正硬件上的錯(cuò)誤，而且可以糾正設(shè)計(jì)上的錯(cuò)誤?！　≡趯?xiě)大型的，無(wú)故障程序時(shí)這種方法應(yīng)用的更多，很多人認(rèn)為這樣的程序不可能被開(kāi)發(fā)和調(diào)試。但是UCLA計(jì)算機(jī)科學(xué)系顯示了設(shè)計(jì)多樣性可以被用在軟件開(kāi)發(fā)上：幾個(gè)程序員可以獨(dú)立地解決同樣的問(wèn)題，然后他們開(kāi)發(fā)的程序并行工作并投票表決結(jié)果。這使得開(kāi)發(fā)和運(yùn)行的成本成倍地增加，但是使得最終的軟件可以消除由于部件故障產(chǎn)生的錯(cuò)誤?！　∥覀兛梢允褂萌哂鄟?lái)控制復(fù)制機(jī)。就象修復(fù)機(jī)器可以比較多個(gè)DNA鏈來(lái)糾正細(xì)胞內(nèi)的基因變異一樣，可以比較多個(gè)相同指令的拷貝的復(fù)制機(jī)（或其他有效的糾錯(cuò)系統(tǒng)）將能抵抗變異。冗余將再一次帶來(lái)安全性的指數(shù)式爆發(fā)?！　∥覀兛梢越ㄔ鞓O度可靠的系統(tǒng)，但是將增加成本。冗余使得系統(tǒng)更重，更大，更貴，效率更低。而納米技術(shù)，將使得大部分東西大幅度地變輕，變小，變便宜，和變得更有效率。這將使得冗余和可靠性更實(shí)用。　　今天，我們很少想到購(gòu)買(mǎi)最安全的系統(tǒng)，我們可以容忍錯(cuò)誤而很少考慮到可靠性的真正極限。這使得決定偏向于可以實(shí)現(xiàn)的各種功能。心理因素也扭曲了我們對(duì)怎樣制造可靠的東西的看法：錯(cuò)誤存在于我們大腦中，但是每天幾乎不引起我們的注意。媒體通過(guò)報(bào)告全世界的最富有戲劇性的事故同時(shí)忽略沒(méi)完沒(méi)了的成功來(lái)放大了這種趨勢(shì)。更糟的還有，冗余系統(tǒng)的元件可能以可見(jiàn)的形式失效，引發(fā)驚慌：想象一下媒體將如何報(bào)道一座吊橋的繩索斷裂，即使這座吊橋是上面說(shuō)的超級(jí)可靠的十五根繩索的吊橋。由于每增加一個(gè)冗余部件就增加一份出錯(cuò)的可能性，系統(tǒng)的可靠性在接近完美時(shí)可能反而會(huì)看起來(lái)更糟。　　除掉外在因素，由大量無(wú)故障的元件組成的冗余系統(tǒng)通常能帶來(lái)幾乎完美的可靠性。廣泛分布的冗余系統(tǒng)將能抵抗子彈和炸彈?！　〉侨绻窃O(shè)計(jì)錯(cuò)誤又怎樣呢？如果有一個(gè)共同的設(shè)計(jì)上的錯(cuò)誤那么就是使用一打的通用部件也沒(méi)用。多樣性設(shè)計(jì)是一個(gè)答案，充分的測(cè)試是另外一個(gè)。我們能可靠地進(jìn)化好的設(shè)計(jì)而不必成為可靠的優(yōu)秀的設(shè)計(jì)師：我們只要擅長(zhǎng)測(cè)試，擅長(zhǎng)修補(bǔ)，和有耐心就行。自然進(jìn)化了可工作的分子機(jī)器，它們完全無(wú)意識(shí)地進(jìn)行修補(bǔ)和測(cè)試。有了意識(shí)，我們可以做的更好?！　∥覀儗?huì)發(fā)現(xiàn)設(shè)計(jì)可靠的硬件是容易的，如果我們能發(fā)展出可靠的自動(dòng)工程系統(tǒng)的話。這使得話題擴(kuò)展到了關(guān)于開(kāi)發(fā)可信賴(lài)的人工智能系統(tǒng)的范圍。我們將能容易地用可靠的硬件制造AI系統(tǒng)，但是它們的軟件又如何呢？　　象現(xiàn)今的AI系統(tǒng)和人的大腦一樣，先進(jìn)AI系統(tǒng)將是很多簡(jiǎn)單部件的協(xié)作組合。每個(gè)部件相對(duì)整體來(lái)說(shuō)都是專(zhuān)門(mén)的和低智能的。一些部件可以采集識(shí)別圖像，聲音，和其他數(shù)據(jù)。其他的部件可以比較和判斷上述數(shù)據(jù)。和人類(lèi)視覺(jué)系統(tǒng)可以忍受錯(cuò)誤和光學(xué)幻影一樣，AI系統(tǒng)也行。（的確，一些先進(jìn)的機(jī)器視覺(jué)系統(tǒng)已經(jīng)可以處理常見(jiàn)的光學(xué)幻象），就象人腦的某些部分可以識(shí)別并補(bǔ)償幻影一樣，AI系統(tǒng)的某些部分也可以?！　≡谌说拇竽X中，智能包括能產(chǎn)生模糊猜想的心靈部件和能判斷并消除錯(cuò)誤猜想，并使它們不能影響重要判斷的部件?；诘赖禄A(chǔ)的拒絕行動(dòng)的心靈部件我們稱(chēng)為良心。具有很多部件的AI系統(tǒng)有足夠的空間容納冗余和設(shè)計(jì)差異，使得高可靠性成為可能?！　∫粋€(gè)真正的，靈活的AI系統(tǒng)應(yīng)該能夠進(jìn)化想法。為了做這件事，它必須能發(fā)現(xiàn)或形成假設(shè)，產(chǎn)生變化，并測(cè)試它們，然后修改或者消除那些不合理的假設(shè)，去掉其中任何一種能力都會(huì)使它變得愚蠢，頑固，或瘋狂。為了避免陷入初始的錯(cuò)誤想法之中，它必須考慮不同的觀點(diǎn)，看看那個(gè)能更好地解釋數(shù)據(jù)，并且看看一個(gè)觀點(diǎn)是否能解釋另外一個(gè)?！　】茖W(xué)團(tuán)體經(jīng)歷了相似的過(guò)程，在一份題為“科學(xué)團(tuán)體的隱喻”的報(bào)告中，MIT的人工智能實(shí)驗(yàn)室的William A. Kornfeld 和Carl Hewitt建議AI研究者把他們的程序模型設(shè)計(jì)的更像科學(xué)團(tuán)體的進(jìn)化模式。他們指出科學(xué)的多態(tài)性，互相競(jìng)爭(zhēng)的提案、支持者、反對(duì)者的多樣性。沒(méi)有提案，想法就不會(huì)出現(xiàn)，沒(méi)有支持，它們就不能成長(zhǎng)，沒(méi)有批評(píng)來(lái)除草，壞的想法就會(huì)把好的想法擠掉。這是普遍真理，無(wú)論是在科學(xué)上，技術(shù)上，在AI系統(tǒng)，還是在我們的大腦中?！　∫粋€(gè)充滿多樣性和冗余的提案、支持者、反對(duì)者的世界使得科學(xué)和技術(shù)的進(jìn)步變得可靠。更多的提案使得好的建議更普遍，更多的反對(duì)者使得壞的建議更容易受到攻擊。結(jié)果將產(chǎn)生更多更好的想法。類(lèi)似的冗余形式將幫助AI系統(tǒng)發(fā)展健全的想法?！　∪藗冇袝r(shí)以真理和道德的標(biāo)準(zhǔn)來(lái)指導(dǎo)行動(dòng)，我們也可以發(fā)展類(lèi)似的AI系統(tǒng)，但是更加可靠。由于可以用比我們快一百萬(wàn)倍的速度思考，它們將可以有足夠的時(shí)間反復(fù)考慮。看起來(lái)AI系統(tǒng)是可以信賴(lài)的，至少按人類(lèi)的標(biāo)準(zhǔn)是這樣的。　　我經(jīng)常把AI系統(tǒng)和人腦相比，但是相似之處不一定很接近。一個(gè)可以模仿人的系統(tǒng)應(yīng)該是象人的，而一個(gè)自動(dòng)工程系統(tǒng)就不一定了。一個(gè)方案（稱(chēng)為Agora系統(tǒng)，源自會(huì)議和集市的希臘術(shù)語(yǔ)）由很多獨(dú)立的軟件部分組成，它們彼此之間通過(guò)交換服務(wù)和錢(qián)來(lái)互相影響，很多部分是簡(jiǎn)單的和專(zhuān)門(mén)化的，一些部分能提出設(shè)計(jì)變更，其他的部分可以分析。象地球上的生態(tài)環(huán)境進(jìn)化出了特殊的生物一樣，這種計(jì)算機(jī)經(jīng)濟(jì)環(huán)境可以進(jìn)化出特別的設(shè)計(jì)——或許以一種同樣無(wú)意識(shí)的隨機(jī)的方式。更甚者，由于系統(tǒng)可以在很多種機(jī)器中傳播并且部件是由很多人寫(xiě)成的，它會(huì)是多樣的，充滿活力的，并且任何團(tuán)體也不能獨(dú)占和濫用?！　』旧?，不管用這種還是那種方法，自動(dòng)工程系統(tǒng)將能設(shè)計(jì)出比我們現(xiàn)在能設(shè)計(jì)的可靠得多的東西。我們面對(duì)的挑戰(zhàn)是如何正確地設(shè)計(jì)它們。我們將需要可靠的人類(lèi)機(jī)構(gòu)來(lái)開(kāi)發(fā)可靠的系統(tǒng)?！　∪祟?lèi)的組織機(jī)構(gòu)是進(jìn)化了的人工系統(tǒng)，它們可以解決個(gè)體解決不了的問(wèn)題。這使得它們成了一種“人工智能系統(tǒng)”。公司，軍隊(duì)，和研究實(shí)驗(yàn)室都是例子。即使政府也可以看作人工智能系統(tǒng)——臃腫的，行動(dòng)遲緩的，迷迷糊糊的，但是仍然具有超能力?！　∈裁礃拥闹萍s機(jī)制可以通過(guò)制度的多樣性和冗余來(lái)增長(zhǎng)政府的可靠性呢？當(dāng)我們建造智能機(jī)器時(shí)，我們將使用它們來(lái)彼此制約?！　⊥ㄟ^(guò)應(yīng)用健全性原理，我們可以發(fā)展可靠的，技術(shù)導(dǎo)向的具有很強(qiáng)的制衡能力的機(jī)構(gòu)，然后使用這些機(jī)構(gòu)來(lái)領(lǐng)導(dǎo)開(kāi)發(fā)能掌控即將到來(lái)的突破的各種系統(tǒng)?！　　　?shí)現(xiàn)組裝機(jī)突破的策略　　世界上的某些力量（無(wú)論是否可以信賴(lài)）將會(huì)在組裝機(jī)的開(kāi)發(fā)中處于領(lǐng)先地位，成為