電信行業(yè)大數(shù)據(jù)實(shí)時營銷和實(shí)時分析29(存儲版)
【正文】 大局出發(fā) ?做創(chuàng)業(yè)、做 BI要多眼于未來，產(chǎn)品規(guī)劃、設(shè)計要面向未來，多考慮未來三五年的環(huán)境和競爭 ?《 扁鵲見蔡桓公 》 BI人學(xué)習(xí)的榜樣 推薦閱讀 職業(yè)規(guī)劃 ?《 定位 》 、 《 人生定位 》 系列書籍 ?《 浪潮之巔 》 、 《 數(shù)學(xué)之美 》 等 ?《 暗時間 》 ?《 異類 》 ?《 一部手機(jī)打天下：人類最后的掘金機(jī)會 》 ?《 決戰(zhàn)大數(shù)據(jù) 》 ?《 高效能人士的七個習(xí)慣 》 ?《 窮查理寶典 》 ?《 失控 》 ?彼得 方案 2細(xì)節(jié)： ?基于此特點(diǎn)，可以在每日凌晨把客戶統(tǒng)一視圖數(shù)據(jù)加載到hadoop中，白天訪問時直接查詢數(shù)據(jù)，速度快，效率高。 ?數(shù)據(jù)都在庫外處理， NOSQL方式，數(shù)據(jù)庫可以改為使用開源數(shù)據(jù)庫 MySQL，存放配置信息。這樣對硬件要求低，但速度相對會慢。 方案 1細(xì)節(jié)： ?分表或分文件時，按手機(jī)號碼尾號 2位或 3位來分，手機(jī)號碼尾號本身是均勻的。 ?使用標(biāo)準(zhǔn) C，開發(fā)出處理程序，并發(fā)啟動 1萬到幾萬個線程，每個線程把小文件數(shù)據(jù)加載到各自內(nèi)存中。 小表總表數(shù)為 1萬到幾萬之間 ， 詳細(xì)為地市數(shù)量 *1000。為什么還是要解散呢？這是因?yàn)閿?shù)據(jù)挖掘、數(shù)據(jù)分析能做到百分之三十或百分之五十已經(jīng)非常好，當(dāng)企業(yè)自然增長達(dá)到百分之百或百分之幾百時，從投入產(chǎn)出比角度出發(fā)，數(shù)據(jù)挖掘、數(shù)據(jù)分析團(tuán)隊是無價值的，是應(yīng)被解散掉的。 ?第二階段：數(shù)據(jù)分析、傳統(tǒng)數(shù)據(jù)挖掘階段。做報表根本不能體現(xiàn)出智能，體力活，實(shí)習(xí)生工作。這些團(tuán)隊中其實(shí)有很強(qiáng)的 Team Leader和很靠譜的團(tuán)隊成員。 ?每張小表中包括所有需要的幾百 、 幾千個字段 。 ?如果是直轄市，直接拆分為 10000個小文件。當(dāng)數(shù)據(jù)無法做大表關(guān)聯(lián)時，每次只需從單行記錄就可去到。 ?數(shù)據(jù)也可采用前端調(diào)用時再動態(tài)加載，根據(jù)機(jī)器配置，讓線程分批次加載數(shù)據(jù)并處理。硬件投資改為采購幾臺 PC Server，硬件投入為幾萬元。 生成后為靜態(tài)數(shù)據(jù) ， 每日上班時間數(shù)據(jù)不會更新 ， 為靜態(tài)數(shù)據(jù) 。
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號-1