【正文】 那個電子管和打孔機(jī)的年代里,并行計(jì)算的難度恐怕是連這位能心算無窮級數(shù)的天才級數(shù)學(xué)大師都望而生畏的東西。但是無論如何，馮諾依曼的設(shè)計(jì)的確為后世的計(jì)算機(jī)工業(yè)帶上了一個難以解套的緊箍咒。今日無數(shù)天才程序員為之殫精竭慮的并行計(jì)算，其實(shí)是一個非常幽默的問題——如何在一臺原本設(shè)計(jì)用來杜絕并行計(jì)算的機(jī)器上進(jìn)行并行編程？由于馮諾依曼機(jī)在并行計(jì)算上的困難是本質(zhì)性的，很難在它之上做零碎的修改來徹底治愈馮諾依曼綜合癥。我們迫切需要適合并行計(jì)算的計(jì)算機(jī)模型。計(jì)算機(jī)科學(xué)家們發(fā)現(xiàn),運(yùn)算之間的時序性其實(shí)只取決于運(yùn)算之間結(jié)果依賴性。比如說這樣一個計(jì)算(2+3)*(4+6)。假設(shè)我們有兩個CPU,入時間，乘法的開始執(zhí)行時間依賴于最后一個加法的完成時間。這就是傳說中的交叉引用。 Trustno1 寫道轉(zhuǎn)貼一個評論,牛人就是牛人. 引用本文: [轉(zhuǎn)寄][轉(zhuǎn)貼][刪除][修改][回復(fù)][作者:dragondevil][人氣:86] 發(fā)信人: dragondevil(流星※見龍?jiān)谔?, 信區(qū): Algorithm 標(biāo) 題: Re: [轉(zhuǎn)載][zz] 關(guān)于兩個世界體系的對話 by Trustno1 發(fā)信站: 瀚海星云 (2008年08月23日13:26:20 星期六), 站內(nèi)信件 WWWPOST 不錯的文章。不超出基于Von帶來的認(rèn)識，就不會發(fā)現(xiàn)計(jì)算的本質(zhì)，既不是函數(shù)也不是數(shù)據(jù) 結(jié)構(gòu)，僅僅是數(shù)據(jù)流本身。Education wall，正是最令人擔(dān)心的。注意到即便是CAM模型， 也不過是為AntiVon故意反其道而行罷了，仍然有查詢，并不直接的實(shí)踐數(shù)據(jù)流向的交換。 當(dāng)實(shí)踐了一組指令模塊的輸出向輸入的任意調(diào)度，使這些模塊持續(xù)工作，程序的功能就只剩 下約定哪個時鐘沿將哪個模塊的輸出送到哪個模塊的輸入。這種想法要求嚴(yán)格精確的時間約 定，必須在編譯時進(jìn)行指明，而不大可能實(shí)時產(chǎn)生（也不排除這種可能，只是我懷疑其功耗 和運(yùn)算量），這就導(dǎo)致處理器外部導(dǎo)致的時間不確定性無法解決，而使這個想法成為空談。 相比設(shè)計(jì)一個能包容一定的時間不確定性的以數(shù)據(jù)流調(diào)度為核心的指令陣列并行體系，專用 計(jì)算器ASIC的設(shè)計(jì)方式可稱為入門級的訓(xùn)練（不幸的是哪怕這個入門級的訓(xùn)練也是目前人類 所掌握知識中較為匱乏的一種），因?yàn)槠淦帘瘟藖碜酝獠康娜魏尾淮_定性，并以固化接線實(shí) 現(xiàn)了數(shù)據(jù)流的轉(zhuǎn)接。 數(shù)據(jù)流本身就是計(jì)算。遠(yuǎn)離那些在一個控制為核心的硬件體系上“虛擬”出的高級語言吧， 那只讓你徹底忘記什么是計(jì)算pute，什么是計(jì)算機(jī)puter。5個局長4個副局長1個辦事 員的事情已經(jīng)夠令人厭煩，更可惱的是實(shí)際上有20個辦事員但因?yàn)榫珠L們管理能力有限，總 是只有一兩個正在工作而其他的統(tǒng)統(tǒng)休息卻不停止消費(fèi)他們的面包（不可能為了幾個周期的 空閑而關(guān)閉功耗）。 讓所有的辦事員埋頭工作，使傳遞員來提供輸入、適時的取走輸出并交給下一個辦事員。這 就是我所希望的體系。恩，對高性能計(jì)算而言，Von目前已經(jīng)只是個笑話。我知道這個家伙說的就是FPGA,FGPA,FPGA 哈哈,全世界所有的語言都靈活，唯一不靈活的就是硬件. reconfiguration putation,各個大學(xué)的醫(yī)生們已經(jīng)叫了N年了,I記A記每年加內(nèi)核的活計(jì)干不了多少年. PC這個地方,廟小妖風(fēng)大, wall讓很多人上了賊船就一輩子下不來了,畢竟 terranhao 寫道..好像計(jì)算機(jī)工業(yè)只有PC一樣. 引用數(shù)據(jù)流本身就是計(jì)算。遠(yuǎn)離那些在一個控制為核心的硬件體系上“虛擬”出的高級語言吧，這句話深得吾心,只不過畢竟我還是一個搞開發(fā)的人，不像大學(xué)里的醫(yī)生們敢開虎狼藥. 引用讓所有的辦事員埋頭工作，使傳遞員來提供輸入、適時的取走輸出并交給下一個辦事員。這 就是我所希望的體系。恩，對高性能計(jì)算而言，Von目前已經(jīng)只是個笑話。既然現(xiàn)在PC上硬件無法做到這點(diǎn)，那么也只能在軟件結(jié)構(gòu)上動腦子,不過模擬總歸是模擬,性能上的折扣沒有5折也有7折,都有賴于我們對計(jì)算與并發(fā)/并行數(shù)學(xué)性質(zhì)的深入認(rèn)識. ASIC，F(xiàn)GPA，F(xiàn)PGA，DSP，這些是啥子？ 搜索了一下，竟然是電路板設(shè)計(jì)的術(shù)語。越來越底層了。 使用 Pure Functional (Haskell) 語言編寫的程序，可以進(jìn)行變量或“函數(shù)調(diào)用”替換，因此，比較適合在數(shù)據(jù)流體系結(jié)構(gòu)上運(yùn)行。Right ? 引用讓所有的辦事員埋頭工作，使傳遞員來提供輸入、適時的取走輸出并交給下一個辦事員。這 就是我所希望的體系。這里的辦事員是指什么？進(jìn)程？線程？還是指T1文章中提到的指令數(shù)據(jù)包？ Reconfigurable puting 引用Reconfigurable puting is a puting paradigm bining some of the flexibility of software with the high performance of hardware by processing with very flexible high speed puting fabrics like FPGAs. The principal difference when pared to using ordinary microprocessors is the ability to make substantial changes to the datapath itself in addition to the control flow. On the other hand, the main difference with custom hardware (ASICs) is the possibility to adapt the hardware during runtime by loading a new circuit on the reconfigurable fabric. 從這個link展開，可以對ASIC,FPGA等有個大體了解。rubynroll 寫道我一朋友搞FPGA的，絕對是‘并行運(yùn)算’，用的卻是C語言，所以賦值語句不是罪惡的根源。不過這里的C描述的是硬件邏輯，F(xiàn)PGA設(shè)計(jì)就是拆分任務(wù)，把可以并行的部分分配到不同的硬件單元，需要順序的地方用時鐘來同步。hehe,是這樣的,做IC這塊不比軟件,分得很細(xì),有做邏輯綜合,有做RTL設(shè)計(jì)，有做驗(yàn)證的， C這種東西,目前來說還是驗(yàn)證和邏輯綜合罷了,即便你用Verilog ,第二,你若真用過system C的話,你就知道FPGA上到底有沒有assigment,組合邏輯函數(shù)是無法保存狀態(tài)的,唯一能夠處理狀態(tài)的是THREAD,這部分代碼完全依靠信號觸 發(fā)敏感表并發(fā)執(zhí)行的,既然在一個并發(fā)實(shí)體里面,你用C的assigment也好,FP的copy也好(另外說一句的確有基于Haskell的FPGA設(shè)計(jì) 語言比如Lava),從外部來看都是一樣的始終存在狀態(tài)改變,就像Java實(shí)現(xiàn)了GC,并不意味著你 用C或者ASM的時候不用管理內(nèi)存. 關(guān)于這一點(diǎn),如果有興趣深入話可以去看看比System C更低級的Verilog或者HDL,另外一種就使用數(shù)據(jù)流 建模continous ,行為建模的assigment只不過是把外部的數(shù)據(jù)信號作為觸發(fā)器或者寄存器的激勵輸入, 經(jīng)過綜合后去看這些assigment其實(shí)不過是描述電路門上的接線方式, 上由于CPU寄存器總線所有布線都是做死的,因此執(zhí)行一句mov AX,BX的意思是讓CPU把BX的數(shù)據(jù)寫入AX,而Verilog下面,reg1=input1的意思是將輸入線1接入到寄存器reg1,于是構(gòu)建了一 ,而是按照Verilog搭建的數(shù)據(jù)流進(jìn)行計(jì)算. 關(guān)于這一點(diǎn),需要很好的體會這句話 引用當(dāng)實(shí)踐了一組指令模塊的輸出向輸入的任意調(diào)度，使這些模塊持續(xù)發(fā)表時間：20080829 引用 llade 寫道為 什么計(jì)算機(jī)的基礎(chǔ)是二進(jìn)制？為什么一個存儲單元只有read/write操作，而不增加listen偵聽其中的變化？為什么目前的主流機(jī)器仍然是32位而 不是64位或者128位？生命是怎么開始的，為什么在實(shí)驗(yàn)室創(chuàng)造生命從來就沒有成功過？為什么世界上的大多數(shù)公路都是兩車道而不是八車道？ 現(xiàn)在講得最多的并行技術(shù)或許不是CPU之間的，或許是網(wǎng)格計(jì)算或mapreduce類似技術(shù)。 人類太傻了，任何改進(jìn)都是以保護(hù)原有的投資為前提。技術(shù)進(jìn)化、社會進(jìn)化和生命進(jìn)化都是一樣，都像化學(xué)反應(yīng)一樣，當(dāng)達(dá)到一定條件的時候就會自動進(jìn)行，沒有達(dá)到瓶頸的時候就不會考慮改進(jìn)，世界的變化總是由主要矛盾驅(qū)動的。這個說的好 這個世界總是會被莫名其妙的規(guī)律支配著。 可以做到什么,應(yīng)該怎么做和怎么做到,請至少看清楚別人在討論什么. 至于,并行是在CPU之間還是網(wǎng)格,其實(shí)很簡單,我里已經(jīng)說過了,.我們一直說,所謂的工業(yè)界玩的都是別人20年前玩剩下的,我們概念里那種多個CPU, ，就是 272個核心3個星期的運(yùn)算量,這種這東西跟我有關(guān)系嗎,只要內(nèi)核夠多就好了嗎?呵呵,是啊幾年前我們不也認(rèn)為CPU速度夠快就好了.19 / 19