大數(shù)據(jù)分析與決策(xxxx-1)(存儲(chǔ)版)
【正文】 3 年十大戰(zhàn)略技術(shù)將包括 大數(shù)據(jù) 2023 年 11 月底， IDC（互聯(lián)網(wǎng)數(shù)據(jù)中心） 將 大數(shù)據(jù) 放入 2023 年信息通信產(chǎn)業(yè)十大預(yù)測(cè)之一 4 IDC全球數(shù)據(jù)量預(yù)測(cè)（ 1ZB = 1百萬 PB = 10億 TB） Google網(wǎng)站 Big data關(guān)鍵詞搜索及新聞引用量 什么是 大數(shù)據(jù) 1 2 3 大數(shù)據(jù)的定義理解 大數(shù)據(jù)的 “4V” 特征 大數(shù)據(jù)的產(chǎn)生、增長(zhǎng) 2023/3/29 5 “大數(shù)據(jù)”是如何產(chǎn)生的？ facebook 社交網(wǎng)絡(luò) … 淘寶 電子商務(wù) … 微博、Apps 移勱互聯(lián) … 21世紀(jì)是數(shù)據(jù)信息大發(fā)展的時(shí)代，移動(dòng)互聯(lián)、社交網(wǎng)絡(luò)、電子商務(wù)等極大拓展了互聯(lián)網(wǎng)的邊界和應(yīng)用范圍，各種數(shù)據(jù)正在迅速膨脹并變大。 而有市場(chǎng)研究機(jī)構(gòu)預(yù)測(cè)： 到 2023 年，整個(gè)世界的數(shù)據(jù)總量將會(huì)增長(zhǎng)44 倍，達(dá)到 （ 1ZB=10 億 TB）！ GB TB PB EB ZB 1GB = 2^30字節(jié) 1TB = 2^40字節(jié) 1PB = 2^50字節(jié) 1EB = 2^60字節(jié) 1ZB = 2^70字節(jié) 2023/3/29 7 大數(shù)據(jù)的 4V特征 “大量化 (Volume)、多樣化 (Variety)、快速化 (Velocity)、價(jià)值密度低（ Value）”就是“大數(shù)據(jù)”的顯著特征，或者說，只有具備這些特點(diǎn)的數(shù)據(jù)，才是大數(shù)據(jù)。它包括了呼叫詳細(xì)記錄、設(shè)備和傳感器信息、 GPS和地理定位映射數(shù)據(jù)、通過管理文件傳輸協(xié)議傳送的海量圖像文件、 Web文本和點(diǎn)擊流數(shù)據(jù)、科學(xué)信息、電子郵件等等。 ?由于各個(gè)行業(yè)都存在大數(shù)據(jù)應(yīng)用需求，潛在市場(chǎng)空間非?？捎^。集群、分割、孤立點(diǎn)分析還有其他的算法讓我們深入數(shù)據(jù)內(nèi)部，挖掘價(jià)值。正如您所預(yù)料的那樣，在流感季節(jié)，與流感有關(guān)的搜索會(huì)明顯增多；到了過敏季節(jié)，與過敏有關(guān)的搜索會(huì)顯著上升；而到了夏季，與曬傷有關(guān)的搜索又會(huì)大幅增加。 *他們的方式與 Google 類似。 ” 2023/3/29 27 *日本國(guó)內(nèi)有一個(gè)網(wǎng)站，你只要打開這個(gè)網(wǎng)站用自己的 Twitter 賬號(hào)登彔，就可以在短時(shí)間內(nèi)通過數(shù)萬條 Twitter 找出可能感冒的人，并通過過去的感冒情冴和今日的感冒情冴迚行分析（以及統(tǒng)計(jì)目前發(fā)燒以及嗓子痛的患者數(shù)量），另外該程序還會(huì)結(jié)合氣溫和濕度的變化來預(yù)測(cè) 將來感冒的流行情冴，并制作一個(gè)“易感冒日歷”。 *以往，公共機(jī)構(gòu)在發(fā)布流感情報(bào)的時(shí)候至少要延遲一周，在有些偏進(jìn)地區(qū)的立杄信息也并不確切，而現(xiàn)在，通過網(wǎng)絡(luò)能夠有效彌補(bǔ)這些缺憾。 2023/3/29 30 *早在 2023年 ， 上交所曾經(jīng)利用“ 大數(shù)據(jù) ” 設(shè)置 “ 捕鼠器 ” 的設(shè)想 ， 設(shè)定一定的指標(biāo)預(yù)警 ，當(dāng)相關(guān)指標(biāo)達(dá)到某個(gè)預(yù)警點(diǎn)時(shí) ，監(jiān)控系統(tǒng)會(huì)自動(dòng)報(bào)警 。 2023/3/29 33 *2023年 10月 23日 《 衛(wèi)報(bào) 》 利用維基解密的數(shù)據(jù)做了一篇 “數(shù)據(jù)新聞 ”。 醫(yī)生按照所有基因按需下藥 ， 最終這種方式幫助喬布斯延長(zhǎng)了好幾年的生命 。大數(shù)據(jù)思維重視相關(guān)性（ A和 B同時(shí)發(fā)生），卻忽略了因果關(guān)系（ A導(dǎo)致 B發(fā)生）的分析。 近幾年“ 大數(shù)據(jù) ” 成為熱詞后，諸如 “ 貝葉斯算法 ” 這樣的統(tǒng)計(jì)學(xué)名詞也隨之在 IT領(lǐng)域熱起來。這背后的深刻原因在于，現(xiàn)實(shí)世界本身就是不確定的，人類的觀察能力是有局限性的，我們?nèi)粘Ｋ^察到的只是事物表面上的結(jié)果，沿用剛才那個(gè)袋子里面取球的 比方 ，我們往往只能知道從里面取出來的球是什么顏色，而并不能直接看到袋子里面實(shí)際的情況。 所以 ， 一個(gè)模型是否正確不是最重要的 ， 重要的是決策者對(duì)這個(gè)模型有多大的把握 ， 決策者能否從這個(gè)模型中獲利 。 在市場(chǎng)中 ， 沒有人掌握有關(guān)生產(chǎn)和消費(fèi)的全局信息 ， 但是人們通過市場(chǎng)交易對(duì)供需的行為作出反應(yīng) ， 從而逐步更新價(jià)格 ， 進(jìn)而達(dá)到平衡 。 貝葉斯的 “ 看不見的手 ” 利用這些知識(shí)逐步修訂人們對(duì)事物的假設(shè) ， 而人們基于這些假設(shè)進(jìn)行的決策通過亞當(dāng)斯密的市場(chǎng)的 “ 看不見的手 ” 被評(píng)估與選擇 ， 從而形成相應(yīng)的社會(huì)秩序 。 根據(jù)全概率公式： P(S)=P(S|A)*P(A)+P(S|B)*P(B) =*+* = 帶入貝葉斯公式可得： P(A|S)=P(A)*P(S|A)/P(S) =*結(jié)論 ：將更多信息引入，可以對(duì)問題推測(cè)進(jìn)行修訂。 自拍杄和藍(lán)牙相機(jī) : P(A|S)代表抽到自拍桿這個(gè)事件發(fā)生后 ， 對(duì) P(A)的一個(gè)修正和調(diào)整即求 的是后驗(yàn)概率 。 利用新的數(shù)據(jù)與新的證據(jù)不斷修訂對(duì)世界的假設(shè)是狐貍式的思維方式也是貝葉斯思維方式的基本理念 ， 這也應(yīng)當(dāng)是大數(shù)據(jù)時(shí)代思維的基本理念 。 在大數(shù)據(jù)時(shí)代 ， 人們能夠接觸越來越多的信息 ， 這些信息能否修訂決策者已有的觀念 ， 對(duì)決策者的決策產(chǎn)生影響 ， 這是大數(shù)據(jù)能否發(fā)揮價(jià)值的關(guān)鍵所在 。 但是 ， 與科學(xué)研究中以求真為目的的構(gòu)建模型不同 ， 大數(shù)據(jù)時(shí)代的模型構(gòu)建將更加以務(wù)實(shí)為目的 ， 即遵循統(tǒng)計(jì)學(xué)家 Gee E. P. Box的觀點(diǎn) “ 本質(zhì)而言 ， 所有模型都是錯(cuò)誤的 ， 只是有些模型更有用 ” 。 實(shí)際上，貝葉斯當(dāng)時(shí)的論文只是對(duì)這個(gè)問題的一個(gè)直接的求解嘗試，并不清楚他當(dāng)時(shí)是不是已經(jīng)意識(shí)到這里面包含著的深刻思想。孰對(duì)孰錯(cuò)？每個(gè)人都不妨給出自己的判斷。數(shù)據(jù)來源是自用戶使用搜索引擎的檢索記彔，即谷歌用搜索關(guān)鍵字的網(wǎng)民行為來預(yù)測(cè)整個(gè)國(guó)家人們患病的可能性。 為此 ， 他支付了高達(dá)幾十萬美元的費(fèi)用 。 沒想到這個(gè)舉措居然使尿布和啤酒的銷量都大幅增加了 。 2023/3/29 29 *2023年 11月奧巴馬大選連仸成功的勝利果實(shí)也被歸功于大數(shù)據(jù) ， 因?yàn)樗母?jìng)選團(tuán)隊(duì) 對(duì)選民的行為 、 支持偏向迚行了數(shù)據(jù)搜集 ，并 迚行了大規(guī)模與深入的數(shù)據(jù)挖掘 。 *另一個(gè)就是大數(shù)據(jù)所特有的功能。 為了檢驗(yàn)他們的
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號(hào)-1