【文章內(nèi)容簡介】 靠運(yùn)輸?shù)墓こ處煵荒苤豢吭跇蛏显黾永K索來提高安全性，他們要建造兩個結(jié)構(gòu)不同的相互獨(dú)立的橋，還可能要增加一個隧道，一艘渡船，和兩個機(jī)場。　　計算機(jī)工程師也使用冗余。例如層云（Stratus）計算機(jī)公司，制造了一臺使用四個中央處理器（兩對）的計算機(jī)來做只要一個中央處理器就可以做的工作，但是工作起來要可靠的多。當(dāng)一對CPU工作不正常時，另外一對就替換上去。　　一個更有效的冗余形式是設(shè)計的多樣性。在計算機(jī)硬件方面，這意味著使用幾個不同設(shè)計的計算機(jī)，并行地工作。那么就可以不僅糾正硬件上的錯誤，而且可以糾正設(shè)計上的錯誤。　　在寫大型的，無故障程序時這種方法應(yīng)用的更多，很多人認(rèn)為這樣的程序不可能被開發(fā)和調(diào)試。但是UCLA計算機(jī)科學(xué)系顯示了設(shè)計多樣性可以被用在軟件開發(fā)上：幾個程序員可以獨(dú)立地解決同樣的問題，然后他們開發(fā)的程序并行工作并投票表決結(jié)果。這使得開發(fā)和運(yùn)行的成本成倍地增加，但是使得最終的軟件可以消除由于部件故障產(chǎn)生的錯誤?！　∥覀兛梢允褂萌哂鄟砜刂茝?fù)制機(jī)。就象修復(fù)機(jī)器可以比較多個DNA鏈來糾正細(xì)胞內(nèi)的基因變異一樣，可以比較多個相同指令的拷貝的復(fù)制機(jī)（或其他有效的糾錯系統(tǒng)）將能抵抗變異。冗余將再一次帶來安全性的指數(shù)式爆發(fā)?！　∥覀兛梢越ㄔ鞓O度可靠的系統(tǒng)，但是將增加成本。冗余使得系統(tǒng)更重，更大，更貴，效率更低。而納米技術(shù)，將使得大部分東西大幅度地變輕，變小，變便宜，和變得更有效率。這將使得冗余和可靠性更實(shí)用?！　〗裉?，我們很少想到購買最安全的系統(tǒng)，我們可以容忍錯誤而很少考慮到可靠性的真正極限。這使得決定偏向于可以實(shí)現(xiàn)的各種功能。心理因素也扭曲了我們對怎樣制造可靠的東西的看法：錯誤存在于我們大腦中，但是每天幾乎不引起我們的注意。媒體通過報告全世界的最富有戲劇性的事故同時忽略沒完沒了的成功來放大了這種趨勢。更糟的還有，冗余系統(tǒng)的元件可能以可見的形式失效，引發(fā)驚慌：想象一下媒體將如何報道一座吊橋的繩索斷裂，即使這座吊橋是上面說的超級可靠的十五根繩索的吊橋。由于每增加一個冗余部件就增加一份出錯的可能性，系統(tǒng)的可靠性在接近完美時可能反而會看起來更糟?！　〕敉庠谝蛩?，由大量無故障的元件組成的冗余系統(tǒng)通常能帶來幾乎完美的可靠性。廣泛分布的冗余系統(tǒng)將能抵抗子彈和炸彈。　　但是如果是設(shè)計錯誤又怎樣呢？如果有一個共同的設(shè)計上的錯誤那么就是使用一打的通用部件也沒用。多樣性設(shè)計是一個答案，充分的測試是另外一個。我們能可靠地進(jìn)化好的設(shè)計而不必成為可靠的優(yōu)秀的設(shè)計師：我們只要擅長測試，擅長修補(bǔ)，和有耐心就行。自然進(jìn)化了可工作的分子機(jī)器，它們完全無意識地進(jìn)行修補(bǔ)和測試。有了意識，我們可以做的更好?！　∥覀儗l(fā)現(xiàn)設(shè)計可靠的硬件是容易的，如果我們能發(fā)展出可靠的自動工程系統(tǒng)的話。這使得話題擴(kuò)展到了關(guān)于開發(fā)可信賴的人工智能系統(tǒng)的范圍。我們將能容易地用可靠的硬件制造AI系統(tǒng)，但是它們的軟件又如何呢？　　象現(xiàn)今的AI系統(tǒng)和人的大腦一樣，先進(jìn)AI系統(tǒng)將是很多簡單部件的協(xié)作組合。每個部件相對整體來說都是專門的和低智能的。一些部件可以采集識別圖像，聲音，和其他數(shù)據(jù)。其他的部件可以比較和判斷上述數(shù)據(jù)。和人類視覺系統(tǒng)可以忍受錯誤和光學(xué)幻影一樣，AI系統(tǒng)也行。（的確，一些先進(jìn)的機(jī)器視覺系統(tǒng)已經(jīng)可以處理常見的光學(xué)幻象），就象人腦的某些部分可以識別并補(bǔ)償幻影一樣，AI系統(tǒng)的某些部分也可以?！　≡谌说拇竽X中，智能包括能產(chǎn)生模糊猜想的心靈部件和能判斷并消除錯誤猜想，并使它們不能影響重要判斷的部件?；诘赖禄A(chǔ)的拒絕行動的心靈部件我們稱為良心。具有很多部件的AI系統(tǒng)有足夠的空間容納冗余和設(shè)計差異，使得高可靠性成為可能?！　∫粋€真正的，靈活的AI系統(tǒng)應(yīng)該能夠進(jìn)化想法。為了做這件事，它必須能發(fā)現(xiàn)或形成假設(shè)，產(chǎn)生變化，并測試它們，然后修改或者消除那些不合理的假設(shè)，去掉其中任何一種能力都會使它變得愚蠢，頑固，或瘋狂。為了避免陷入初始的錯誤想法之中，它必須考慮不同的觀點(diǎn)，看看那個能更好地解釋數(shù)據(jù)，并且看看一個觀點(diǎn)是否能解釋另外一個?！　】茖W(xué)團(tuán)體經(jīng)歷了相似的過程，在一份題為“科學(xué)團(tuán)體的隱喻”的報告中，MIT的人工智能實(shí)驗(yàn)室的William A. Kornfeld 和Carl Hewitt建議AI研究者把他們的程序模型設(shè)計的更像科學(xué)團(tuán)體的進(jìn)化模式。他們指出科學(xué)的多態(tài)性，互相競爭的提案、支持者、反對者的多樣性。沒有提案，想法就不會出現(xiàn)，沒有支持，它們就不能成長，沒有批評來除草，壞的想法就會把好的想法擠掉。這是普遍真理，無論是在科學(xué)上，技術(shù)上，在AI系統(tǒng)，還是在我們的大腦中。　　一個充滿多樣性和冗余的提案、支持者、反對者的世界使得科學(xué)和技術(shù)的進(jìn)步變得可靠。更多的提案使得好的建議更普遍，更多的反對者使得壞的建議更容易受到攻擊。結(jié)果將產(chǎn)生更多更好的想法。類似的冗余形式將幫助AI系統(tǒng)發(fā)展健全的想法?！　∪藗冇袝r以真理和道德的標(biāo)準(zhǔn)來指導(dǎo)行動，我們也可以發(fā)展類似的AI系統(tǒng)，但是更加可靠。由于可以用比我們快一百萬倍的速度思考，它們將可以有足夠的時間反復(fù)考慮?？雌饋鞟I系統(tǒng)是可以信賴的，至少按人類的標(biāo)準(zhǔn)是這樣的。　　我經(jīng)常把AI系統(tǒng)和人腦相比，但是相似之處不一定很接近。一個可以模仿人的系統(tǒng)應(yīng)該是象人的，而一個自動工程系統(tǒng)就不一定了。一個方案（稱為Agora系統(tǒng)，源自會議和集市的希臘術(shù)語）由很多獨(dú)立的軟件部分組成，它們彼此之間通過交換服務(wù)和錢來互相影響，很多部分是簡單的和專門化的，一些部分能提出設(shè)計變更，其他的部分可以分析。象地球上的生態(tài)環(huán)境進(jìn)化出了特殊的生物一樣，這種計算機(jī)經(jīng)濟(jì)環(huán)境可以進(jìn)化出特別的設(shè)計——或許以一種同樣無意識的隨機(jī)的方式。更甚者，由于系統(tǒng)可以在很多種機(jī)器中傳播并且部件是由很多人寫成的，它會是多樣的，充滿活力的，并且任何團(tuán)體也不能獨(dú)占和濫用?！　』旧?，不管用這種還是那種方法，自動工程系統(tǒng)將能設(shè)計出比我們現(xiàn)在能設(shè)計的可靠得多的東西。我們面對的挑戰(zhàn)是如何正確地設(shè)計它們。我們將需要可靠的人類機(jī)構(gòu)來開發(fā)可靠的系統(tǒng)?！　∪祟惖慕M織機(jī)構(gòu)是進(jìn)化了的人工系統(tǒng)，它們可以解決個體解決不了的問題。這使得它們成了一種“人工智能系統(tǒng)”。公司，軍隊，和研究實(shí)驗(yàn)室都是例子。即使政府也可以看作人工智能系統(tǒng)——臃腫的，行動遲緩的，迷迷糊糊的，但是仍然具有超能力?！　∈裁礃拥闹萍s機(jī)制可以通過制度的多樣性和冗余來增長政府的可靠性呢？當(dāng)我們建造智能機(jī)器時，我們將使用它們來彼此制約?！　⊥ㄟ^應(yīng)用健全性原理，我們可以發(fā)展可靠的，技術(shù)導(dǎo)向的具有很強(qiáng)的制衡能力的機(jī)構(gòu)，然后使用這些機(jī)構(gòu)來領(lǐng)導(dǎo)開發(fā)能掌控即將到來的突破的各種系統(tǒng)?！　　　?shí)現(xiàn)組裝機(jī)突破的策略　　世界上的某些力量（無論是否可以信賴）將會在組裝機(jī)的開發(fā)中處于領(lǐng)先地位，成為