從大數(shù)據(jù)熱看我國(guó)計(jì)算機(jī)學(xué)界的機(jī)遇-資料下載頁(yè)
2025-02-21 14:27本頁(yè)面
【正文】 XC $C P U $c y c le s $ O n $t h e $S h o r e $D B M S $p r o t o t y p e $ E le p h a n t s $s h o u ld $b e $s im ila r $前提條件的變化 ?應(yīng)用需求的變化 ?應(yīng)用環(huán)境變化 ?硬件變化 ?體系結(jié)構(gòu)的變化 ?計(jì)算環(huán)境的變化 應(yīng)用需求的變化 ? Web搜索、電商、極大規(guī)模 (Large scale) ? 淘寶 “雙十一” (光棍節(jié) )網(wǎng)購(gòu) ? 前期收藏， 0點(diǎn)秒殺 ? 收藏夾、產(chǎn)品數(shù)據(jù)庫(kù)、購(gòu)物車、賬戶多個(gè)數(shù)據(jù)庫(kù)熱點(diǎn) ? 同時(shí)影響：查詢種類、負(fù)載 ? 12306春運(yùn)流量 ? 流量集中，售票邏輯復(fù)雜 ? 區(qū)間票、訂票、預(yù)留票 ? 1個(gè)座位， 25站，有 300種不同的起點(diǎn)、終點(diǎn)組合 ? 放票時(shí)間按照始發(fā)站規(guī)定各不相同 應(yīng)用環(huán)境的變化 硬件的變化 41 內(nèi)存 (Memory) 處理器(CPU) 網(wǎng)絡(luò) (Network) Time Bandwidth Volume Core Bandwidth 1970’s 850ns 300MB/s 128K 1 2023’s 100ns 32GB/s 64GB 192 100Gb/s x100 x500K x192 x34K 內(nèi)存足夠大，可支持即時(shí)性分析 計(jì)算機(jī)各組件的發(fā)展不平衡 體系結(jié)構(gòu)的變化 ? Big Data Appliance ? Rack Server（ brought in 2023） ? HP DL360 12 ? Memory ： 384GB（ DDR3） ? Processor： 4 4（ core） ? Storage： 1TB4,100GB SSD ? Infiniband Switch (20GB) Infiniband Switch Rack Server 計(jì)算環(huán)境的變化 基本變化帶來(lái)的結(jié)果 ?應(yīng)用規(guī)模變遷 ?企業(yè)級(jí) ?電信級(jí) ?互聯(lián)網(wǎng)擊 ?現(xiàn)象級(jí) ?計(jì)算機(jī)硬件系統(tǒng) ?通用 ?可定制 ?通過(guò)分布并行追求 Scaleout ?去 IOE化 (IBM, Oracle, EMC) ?國(guó)家 安全 ?反 壟斷 基本思路 ? 立足應(yīng)用，聚焦交通銀行的應(yīng)用需求，聯(lián)合阿里巴巴集團(tuán)，借鑒阿里的 OceanBase成功經(jīng)驗(yàn)，協(xié)同創(chuàng)新，研發(fā)自己的數(shù)據(jù)庫(kù)系統(tǒng) ? 拓寬思路，吸收 Hadoop的分布并行精髓，突出內(nèi)存集群技術(shù)的應(yīng)用，關(guān)注系統(tǒng)可靠性、可擴(kuò)展性、數(shù)據(jù)的一致性 ? 發(fā)揮優(yōu)勢(shì)，秉承數(shù)據(jù)庫(kù)傳統(tǒng) :，開(kāi)展功能抽象和評(píng)測(cè)基準(zhǔn)研究，重點(diǎn)攻關(guān)事務(wù)處理系統(tǒng) 結(jié)語(yǔ) ? 數(shù)據(jù)管理和數(shù)據(jù)分析系統(tǒng)是企業(yè)數(shù)據(jù)平臺(tái)的核心組成部分， 應(yīng)用是促進(jìn)數(shù)據(jù)系統(tǒng)發(fā)展的原動(dòng)力 ? 數(shù)據(jù)系統(tǒng)的 原點(diǎn)是文件系統(tǒng) ， RDBMS和 Hadoop是從這一原點(diǎn)發(fā)展起來(lái)的，新的數(shù)據(jù)系統(tǒng)也會(huì)一樣 ? 大數(shù)據(jù)研究是應(yīng)用驅(qū)動(dòng)的 ? One Size Fits All ? One Size Fits a Bunch ?我們處在一個(gè)充滿機(jī)遇的窗口 期 (制度、文化、 習(xí)俗 ) ? 內(nèi)存計(jì)算和基準(zhǔn)評(píng)測(cè)研究、 OLTP和 OLAP區(qū)別對(duì)待 有助于設(shè)計(jì)出我國(guó)金融企業(yè)數(shù)據(jù)平臺(tái)所需要的高性能的數(shù)據(jù)系統(tǒng) 敬請(qǐng)指正 謝謝 ! 演講完畢，謝謝觀看！
醫(yī)療健康相關(guān)推薦
鄂ICP備17016276號(hào)-1