從大數(shù)據(jù)熱看我國計(jì)算機(jī)學(xué)界的機(jī)遇(存儲版)
【正文】 E le p h a n t s $s h o u ld $b e $s im ila r $前提條件的變化 ?應(yīng)用需求的變化 ?應(yīng)用環(huán)境變化 ?硬件變化 ?體系結(jié)構(gòu)的變化 ?計(jì)算環(huán)境的變化 應(yīng)用需求的變化 ? Web搜索、電商、極大規(guī)模 (Large scale) ? 淘寶 “雙十一” (光棍節(jié) )網(wǎng)購 ? 前期收藏， 0點(diǎn)秒殺 ? 收藏夾、產(chǎn)品數(shù)據(jù)庫、購物車、賬戶多個(gè)數(shù)據(jù)庫熱點(diǎn) ? 同時(shí)影響：查詢種類、負(fù)載 ? 12306春運(yùn)流量 ? 流量集中，售票邏輯復(fù)雜 ? 區(qū)間票、訂票、預(yù)留票 ? 1個(gè)座位， 25站，有 300種不同的起點(diǎn)、終點(diǎn)組合 ? 放票時(shí)間按照始發(fā)站規(guī)定各不相同 應(yīng)用環(huán)境的變化 硬件的變化 41 內(nèi)存 (Memory) 處理器(CPU) 網(wǎng)絡(luò) (Network) Time Bandwidth Volume Core Bandwidth 1970’s 850ns 300MB/s 128K 1 2023’s 100ns 32GB/s 64GB 192 100Gb/s x100 x500K x192 x34K 內(nèi)存足夠大，可支持即時(shí)性分析 計(jì)算機(jī)各組件的發(fā)展不平衡 體系結(jié)構(gòu)的變化 ? Big Data Appliance ? Rack Server（ brought in 2023） ? HP DL360 12 ? Memory ： 384GB（ DDR3） ? Processor： 4 4（ core） ? Storage： 1TB4,100GB SSD ? Infiniband Switch (20GB) Infiniband Switch Rack Server 計(jì)算環(huán)境的變化 基本變化帶來的結(jié)果 ?應(yīng)用規(guī)模變遷 ?企業(yè)級 ?電信級 ?互聯(lián)網(wǎng)擊 ?現(xiàn)象級 ?計(jì)算機(jī)硬件系統(tǒng) ?通用 ?可定制 ?通過分布并行追求 Scaleout ?去 IOE化 (IBM, Oracle, EMC) ?國家 安全 ?反 壟斷 基本思路 ? 立足應(yīng)用，聚焦交通銀行的應(yīng)用需求，聯(lián)合阿里巴巴集團(tuán)，借鑒阿里的 OceanBase成功經(jīng)驗(yàn)，協(xié)同創(chuàng)新，研發(fā)自己的數(shù)據(jù)庫系統(tǒng) ? 拓寬思路，吸收 Hadoop的分布并行精髓，突出內(nèi)存集群技術(shù)的應(yīng)用，關(guān)注系統(tǒng)可靠性、可擴(kuò)展性、數(shù)據(jù)的一致性 ? 發(fā)揮優(yōu)勢，秉承數(shù)據(jù)庫傳統(tǒng) :，開展功能抽象和評測基準(zhǔn)研究，重點(diǎn)攻關(guān)事務(wù)處理系統(tǒng) 結(jié)語 ? 數(shù)據(jù)管理和數(shù)據(jù)分析系統(tǒng)是企業(yè)數(shù)據(jù)平臺的核心組成部分， 應(yīng)用是促進(jìn)數(shù)據(jù)系統(tǒng)發(fā)展的原動力 ? 數(shù)據(jù)系統(tǒng)的 原點(diǎn)是文件系統(tǒng) ， RDBMS和 Hadoop是從這一原點(diǎn)發(fā)展起來的，新的數(shù)據(jù)系統(tǒng)也會一樣 ? 大數(shù)據(jù)研究是應(yīng)用驅(qū)動的 ? One Size Fits All ? One Size Fits a Bunch ?我們處在一個(gè)充滿機(jī)遇的窗口 期 (制度、文化、 習(xí)俗 ) ? 內(nèi)存計(jì)算和基準(zhǔn)評測研究、 OLTP和 OLAP區(qū)別對待 有助于設(shè)計(jì)出我國金融企業(yè)數(shù)據(jù)平臺所需要的高性能的數(shù)據(jù)系統(tǒng) 敬請指正 謝謝 ! 演講完畢，謝謝觀看！ 。 ?軟、硬件平臺的要求高，成本壓力 ?成本和收益不匹配的 ? 充分發(fā)掘和利用非結(jié)構(gòu)化數(shù)據(jù)背后的商業(yè)價(jià)值，用戶希望能以 更經(jīng)濟(jì)的方式
醫(yī)療健康相關(guān)推薦
鄂ICP備17016276號-1