電信行業(yè)數(shù)據(jù)挖掘與大數(shù)據(jù)心得體會(huì)-wenkub.com
2025-02-24 13:08 本頁(yè)面
【正文】 亨利 同時(shí)內(nèi)存利用率這塊怎樣控制，否則很容易爆掉。 hadoop的出現(xiàn)提供了這些 。 從分表分庫(kù)轉(zhuǎn)向規(guī)模的 bigdata rebalance。 ?云計(jì)算方案，應(yīng)該是可以考慮借鑒谷歌做搜索查詢這塊的成功經(jīng)驗(yàn)。 ?至于 hadoop方案 ， 客戶統(tǒng)一視圖標(biāo)簽月表每月生成一次 ，日表每日按生產(chǎn)一次 。 方案 2細(xì)節(jié)： ?整體來(lái)說(shuō) ， 實(shí)用 hadoop方式或庫(kù)外標(biāo)準(zhǔn) C開發(fā)方式后 ， 可以更有效減少中國(guó)移動(dòng)在硬件上的投入 ， 在數(shù)據(jù)庫(kù)的投入 。 ?采用 hadoop方案后，整體數(shù)據(jù)量在千萬(wàn)級(jí)，有些省例外，到了億級(jí)。 ?數(shù)據(jù)加載完成后 ， 再通過(guò) socket通知前端處理完畢 。涉及到硬件投資增加問(wèn)題，不建議采購(gòu)小型機(jī)，改為采購(gòu)刀片服務(wù)器或其它服務(wù)器。 ?地市之間，考慮到不同地市的用戶數(shù)不同，則可以對(duì)不同地市的分表或分文件數(shù)量做優(yōu)化，用戶數(shù)多的地市分表和文件多，用戶數(shù)少的地市分表或文件少，盡量和所有的100、 1000或 10000以上的表或文件中數(shù)據(jù)量保持一致，這樣并發(fā)處理線程同時(shí)處理，完成時(shí)間也能基本相同。 ?如果并發(fā)線程壓力太大的話，可以考慮改為減少并發(fā)線程數(shù)，或者改為串行?？傮w速度應(yīng)該在毫表級(jí)，可以實(shí)時(shí)把數(shù)據(jù)回傳給前端。小文件總數(shù)量為 1萬(wàn)到幾萬(wàn)之間，詳細(xì)為地市數(shù)量 *1000。 前端訪問(wèn)時(shí) ， 不再需要做多表 sql關(guān)聯(lián) ， 數(shù)據(jù)量級(jí)別為千行級(jí)的單表 sql查詢語(yǔ)句速度也很快 。 關(guān)于 10張標(biāo)簽表，每張表 8000萬(wàn)記錄，每張表幾百幾千個(gè)標(biāo)簽字段，關(guān)聯(lián)取數(shù)據(jù)，秒級(jí)出結(jié)果的高效方法 ? 大數(shù)據(jù)關(guān)聯(lián)查詢創(chuàng)新案例 方案 1：數(shù)據(jù)庫(kù)內(nèi)方案 ?把所有客戶統(tǒng)一視圖大標(biāo)簽寬表先按地市分表 ， 再按號(hào)碼分別拆分為 10000張表 。 ?百度沒(méi)有用戶信息，在移動(dòng)互聯(lián)網(wǎng)時(shí)代處于很大劣勢(shì)。 這條路也挺不錯(cuò) 。 ?投資阿里巴巴 、 支付寶 、 騰訊 、 京東 、 凡客 、 庫(kù)巴 、 優(yōu)酷 、 土豆 、 新浪 、 網(wǎng)易 、 搜狐 、 攜程 、 大眾點(diǎn)評(píng)網(wǎng) 、 豆瓣 、 如家快捷酒店 、 錦江之星等等 。 ?為了壓縮成本，也需要去做去 IOE化運(yùn)動(dòng)。完全可以向風(fēng)投轉(zhuǎn)變。也可以投資支付寶。 中國(guó)移動(dòng)面臨競(jìng)爭(zhēng)的個(gè)人建議 ?電信運(yùn)營(yíng)商可以一方面收購(gòu)使用水、使用電的的上下游公司的股份。 ? 3G時(shí)代 ， 騰訊微信提供的語(yǔ)音視頻 ， 蘋果 FaceTime的視頻通話 ， 都將使語(yǔ)音直接走流量包就可以 ， 套餐中無(wú)法再單獨(dú)包括語(yǔ)音部分的資費(fèi) 。如蘋果的 App Store、谷歌的 Google Play Store。 信令名詞解釋 ?IMEI： International Mobile Equipment Identity， 是國(guó)際移動(dòng)設(shè)備身份碼的縮寫 ， 國(guó)際移動(dòng)裝備辨識(shí)碼 ， 是由 15位數(shù)字
教學(xué)教案相關(guān)推薦
鄂ICP備17016276號(hào)-1