從大數(shù)據(jù)熱看我國(guó)計(jì)算機(jī)學(xué)界的機(jī)遇-文庫(kù)吧在線文庫(kù)
【正文】 、更好的性能來(lái)處理數(shù)據(jù)，從而推動(dòng)業(yè)務(wù)創(chuàng)新 Hadoop在數(shù)據(jù)管理中的地位 ? Hadoop在 處理網(wǎng)頁(yè)數(shù)據(jù) 等方面取得巨大成功，經(jīng)過(guò)幾年的發(fā)展，從一門(mén)邊緣技術(shù)成長(zhǎng)為一種事實(shí)上的標(biāo)準(zhǔn) ? Hadoop自身的弱點(diǎn) ? Hadoop是一個(gè)離線的、批量的數(shù)據(jù)處理系統(tǒng)，實(shí)時(shí)在線 (嚴(yán)格事務(wù)，高效分析 )仍是數(shù)據(jù)庫(kù)的擅長(zhǎng) ?從數(shù)據(jù)存儲(chǔ)的角度來(lái)看， HDFS專門(mén)針對(duì)大文件的存儲(chǔ)， 等待時(shí)間較長(zhǎng) ，無(wú)法做到很高速的隨即讀寫(xiě) ? 把 Hadoop和數(shù)據(jù)庫(kù)結(jié)合起來(lái)應(yīng)對(duì)企業(yè)大數(shù)據(jù)的挑戰(zhàn)，是目前值得探索的方案 Hadoop?=大數(shù)據(jù) ? 來(lái)源于 Google，在類似搜索引擎的查詢并行化分析處理領(lǐng)域取得極大成功 ? 針對(duì)大規(guī)模數(shù)據(jù)密集型應(yīng)用的編程范式（ programming Paradigm） ? 所基于的 BigTable和 HDFS 是非常質(zhì)樸的數(shù)據(jù)模型和存儲(chǔ)系統(tǒng) ? 適用領(lǐng)域有限，為大數(shù)據(jù)研究打開(kāi)了思路，但絕不代表大數(shù)據(jù)技術(shù)全部 (僅是一個(gè) case) 回到文件系統(tǒng)來(lái) 重新審視數(shù)據(jù)管理之 目的 別忘 了數(shù)據(jù)庫(kù) ?Data+Base ? Oracle/DB2/SQL Server/MySQL ? 1974: System R ? 1968: IMS (IBM Information Management System) ? 層次模型 ? 1965: IDS (Integrated Data Store) ? 網(wǎng)狀模型 ? 1965: List Processing Task Force under CODASYL ? 1967: LPTF ? DBTG (Data Base Task Group) ? 1959: CODASYL (Conference on Data Systems Languages) 數(shù)據(jù)庫(kù)的基本目的 ? 計(jì)算機(jī)從數(shù)值計(jì)算轉(zhuǎn)到數(shù)據(jù)處理， OS中的文件系統(tǒng)發(fā)展成 DBMS ?COBOL， CODASYL ?DBTG報(bào)告 (圖靈獎(jiǎng)獲得者 Charles Bachman) ? 數(shù)據(jù)庫(kù)系統(tǒng)最原始的目標(biāo)是解決 記賬 (Billing)和 訂票 (Booking)問(wèn)題 ?商務(wù)智能的雛形 ?事務(wù)處理 (圖靈獎(jiǎng)獲得者 Jim Gray) 數(shù)據(jù)庫(kù)發(fā)展伊始，其目標(biāo)應(yīng)用簡(jiǎn)單 明確 數(shù)據(jù)庫(kù)的三大成就 ? 關(guān)系模型 ? . Codd (數(shù)據(jù)庫(kù)領(lǐng)域第二個(gè)圖靈獎(jiǎng)獲得者 ) ? 事務(wù)處理 ? Jim Gray (數(shù)據(jù)庫(kù)領(lǐng)域第三個(gè)圖靈獎(jiǎng)獲得者 ) ? 查詢優(yōu)化 ?結(jié)構(gòu)化 (模式和實(shí)例分離 ) ?關(guān)系數(shù)據(jù)庫(kù)理論 (關(guān)系代數(shù)） ?物理存儲(chǔ) (索引 /統(tǒng)計(jì) ) 成功 造就了數(shù)百億美元的數(shù)據(jù)庫(kù) 產(chǎn)業(yè) 發(fā)展驅(qū)動(dòng)力 (Driving Force) 源頭：應(yīng)用 不同的企業(yè) ? 傳統(tǒng)的生產(chǎn) /商業(yè)企業(yè) ?制造業(yè)企業(yè) ?傳統(tǒng)的服務(wù)業(yè)企業(yè) ?政府機(jī)構(gòu) ?IT企業(yè) ? 新型信息服務(wù)業(yè)企業(yè) ?搜索引擎、社交媒體 ?電子商務(wù)、在線廣告 ?…… 不同的數(shù)據(jù)平臺(tái) ? 傳統(tǒng)的生產(chǎn) /商業(yè)企業(yè) ?數(shù)據(jù)平臺(tái)由 IT企業(yè) 提供基礎(chǔ)系統(tǒng)和構(gòu)建方案 ?硬件從 PC服務(wù)器到小型機(jī)、大型主機(jī) ?軟件包括操作系統(tǒng)、網(wǎng)絡(luò)、數(shù)據(jù)庫(kù)和中間件 ?由專門(mén)的 IT部門(mén) 負(fù)責(zé)應(yīng)用開(kāi)發(fā)和運(yùn)行維護(hù) ? 新型信息服務(wù)業(yè)企業(yè) ?數(shù)據(jù)平臺(tái)自行搭建 ?硬件主要是廉價(jià)的 PC集群 ?軟件主要利用開(kāi)
醫(yī)療健康相關(guān)推薦
鄂ICP備17016276號(hào)-1