大數(shù)據(jù)分析與決策(xxxx-1)(參考版)
2025-03-13 10:37本頁面
【正文】 2023/3/29 57 演講完畢，謝謝觀看！ 。 根據(jù)全概率公式： P(S)=P(S|A)*P(A)+P(S|B)*P(B) =*+* = 帶入貝葉斯公式可得： P(A|S)=P(A)*P(S|A)/P(S) =*結(jié)論 ：將更多信息引入，可以對(duì)問題推測(cè)進(jìn)行修訂。 自拍杄和藍(lán)牙相機(jī) : P(A|S)代表抽到自拍桿這個(gè)事件發(fā)生后 ， 對(duì) P(A)的一個(gè)修正和調(diào)整即求 的是后驗(yàn)概率 。 如果小明隨機(jī)選擇一個(gè)抽獎(jiǎng)箱，從里面抽出一張獎(jiǎng)券，發(fā)現(xiàn)是自拍桿，這個(gè)自拍桿來自抽獎(jiǎng)箱 A的概率是多少 ? 設(shè) A和 B分別為選中抽獎(jiǎng)箱 A和抽獎(jiǎng)箱 B的事件，因?yàn)閺耐庥^看兩個(gè)箱子沒有區(qū)別，則選中兩個(gè)箱子的概率應(yīng)該相等，即： P(A)=P(B)= 這是先驗(yàn)概率 ， 代表在沒有抽獎(jiǎng)之前的信息 。 ” 自拍杄和藍(lán)牙相機(jī) : 有兩個(gè)一模一樣的抽獎(jiǎng)箱，裝滿獎(jiǎng)券，獎(jiǎng)券上有對(duì)應(yīng)的獎(jiǎng)品。 貝葉斯的 “ 看不見的手 ” 利用這些知識(shí)逐步修訂人們對(duì)事物的假設(shè) ， 而人們基于這些假設(shè)進(jìn)行的決策通過亞當(dāng)斯密的市場(chǎng)的 “ 看不見的手 ” 被評(píng)估與選擇 ， 從而形成相應(yīng)的社會(huì)秩序 。 利用新的數(shù)據(jù)與新的證據(jù)不斷修訂對(duì)世界的假設(shè)是狐貍式的思維方式也是貝葉斯思維方式的基本理念 ， 這也應(yīng)當(dāng)是大數(shù)據(jù)時(shí)代思維的基本理念 。 英國哲學(xué)家艾賽亞 s Theorem） 也和亞當(dāng)斯密的 “ 看不見的手 ” 有相通之處 。 在市場(chǎng)中 ， 沒有人掌握有關(guān)生產(chǎn)和消費(fèi)的全局信息 ， 但是人們通過市場(chǎng)交易對(duì)供需的行為作出反應(yīng) ， 從而逐步更新價(jià)格 ， 進(jìn)而達(dá)到平衡 。 在大數(shù)據(jù)時(shí)代 ， 人們能夠接觸越來越多的信息 ， 這些信息能否修訂決策者已有的觀念 ， 對(duì)決策者的決策產(chǎn)生影響 ， 這是大數(shù)據(jù)能否發(fā)揮價(jià)值的關(guān)鍵所在 。 刺猬用一個(gè)宏大的概念解釋所有現(xiàn)象 ， 如約翰博士一般；狐貍知道很多事情 ， 用多元化的甚至相互矛盾的視角看待問題 ， 狐貍也愿意包容新的證據(jù)以使得自己的模型與之相適應(yīng) ， 如胖托尼一般 。 艾賽亞 所以 ， 一個(gè)模型是否正確不是最重要的 ， 重要的是決策者對(duì)這個(gè)模型有多大的把握 ， 決策者能否從這個(gè)模型中獲利 。 但是 ， 與科學(xué)研究中以求真為目的的構(gòu)建模型不同 ， 大數(shù)據(jù)時(shí)代的模型構(gòu)建將更加以務(wù)實(shí)為目的 ， 即遵循統(tǒng)計(jì)學(xué)家 Gee E. P. Box的觀點(diǎn) “ 本質(zhì)而言 ， 所有模型都是錯(cuò)誤的 ， 只是有些模型更有用 ” 。 電子商務(wù)網(wǎng)站通過數(shù)據(jù)預(yù)測(cè)顧客是否會(huì)購買推薦的產(chǎn)品；信貸公司通過數(shù)據(jù)預(yù)測(cè)借款人是否會(huì)違約；執(zhí)法部門用大數(shù)據(jù)預(yù)測(cè)特定地點(diǎn)發(fā)生犯罪的可能性；交通部門利用數(shù)據(jù)預(yù)測(cè)交通流量 。 雖然 ， 人們?cè)谡劥髷?shù)據(jù)時(shí)往往都會(huì)談及利用 Hadoop等新興技術(shù)對(duì)海量數(shù)據(jù)處理等技術(shù)問題 ， 也會(huì)談及 Facebook、 Google等公司所處理的 PB級(jí)別數(shù)據(jù)的問題 。這背后的深刻原因在于，現(xiàn)實(shí)世界本身就是不確定的，人類的觀察能力是有局限性的，我們?nèi)粘Ｋ^察到的只是事物表面上的結(jié)果，沿用剛才那個(gè)袋子里面取球的 比方 ，我們往往只能知道從里面取出來的球是什么顏色，而并不能直接看到袋子里面實(shí)際的情況。 實(shí)際上，貝葉斯當(dāng)時(shí)的論文只是對(duì)這個(gè)問題的一個(gè)直接的求解嘗試，并不清楚他當(dāng)時(shí)是不是已經(jīng)意識(shí)到這里面包含著的深刻思想。而一個(gè)自然而然的問題是反過來： “ 如果我們事先并不知道袋子里面黑白球的比例，而是閉著眼睛摸出一個(gè)（或好幾個(gè)）球，觀察這些取出來的球的顏色之后，那么我們可以就此對(duì)袋子里面的黑白球的比例作出什么樣的推測(cè)呢？ ” 。貝葉斯（ Thomas Bayes）生前為解決一個(gè) “ 逆概 ” 問題寫的一篇文章。 近幾年“ 大數(shù)據(jù) ” 成為熱詞后，諸如 “ 貝葉斯算法 ” 這樣的統(tǒng)計(jì)學(xué)名詞也隨之在 IT領(lǐng)域熱起來。孰對(duì)孰錯(cuò)？每個(gè)人都不妨給出自己的判斷。在Taleb的書中，受過正統(tǒng)教育的 約翰博士 給出了教科書教給我們的標(biāo)準(zhǔn)回答，下一次投擲硬幣正面朝上落地的概率仍然為 50%，因?yàn)橄乱淮斡矌懦蚺c之前投擲的結(jié)果無關(guān)。 1 A導(dǎo)致 B 2 B導(dǎo)致 A 3 C導(dǎo)致 A和 B 4 A和 B互為因果 5 小樣本引起的巧合 *A和 B的關(guān)系 2023/3/29 41 *2023年，我國某知名電視機(jī)生產(chǎn)公司因?yàn)橐淮问袌?chǎng)調(diào)查的結(jié)果，解雇了市場(chǎng)調(diào)研部的大量員工 2023/3/29 42 為調(diào)查該企業(yè)電視機(jī)品牌的市場(chǎng)占有率，該公司排除市場(chǎng)研究部的兩組員工，調(diào)查消費(fèi)者會(huì)選擇的電視機(jī)品牌。大數(shù)據(jù)思維重視相關(guān)性（ A和 B同時(shí)發(fā)生），卻忽略了因果關(guān)系（ A導(dǎo)致 B發(fā)生）的分析。數(shù)據(jù)來源是自用戶使用搜索引擎的檢索記彔，即谷歌用搜索關(guān)鍵字的網(wǎng)民行為來預(yù)測(cè)整個(gè)國家人們患病的可能性。其中最嚴(yán)重的偏差出現(xiàn)在 2023年 1月，谷歌產(chǎn)品估計(jì)的結(jié)果是 CDC匯總實(shí)際結(jié)果的 2倍。 2023年羅斯柴爾德再接再厲 ， 成功預(yù)測(cè)第 86屆奧斯卡金像獎(jiǎng)?lì)C獎(jiǎng)典禮 24個(gè)獎(jiǎng)項(xiàng)中的 21個(gè) ， 繼續(xù)向人們展示現(xiàn)代科技的神奇魔力 。 醫(yī)生按照所有基因按需下藥 ， 最終這種方式幫助喬布斯延長(zhǎng)了好幾年的生命 。 為此 ， 他支付了高達(dá)幾十萬美元的費(fèi)用 。一經(jīng)刊出立即引起朝野震動(dòng) ， 推動(dòng)英國最終做出撤出駐伊拉克軍隊(duì)的決定 。地圖上一個(gè)紅點(diǎn)便代表一次死傷事件 ， 鼠標(biāo)點(diǎn)擊紅點(diǎn)后彈出的窗口則有詳細(xì)的說明：傷亡人數(shù) 、 時(shí)間 ， 造成傷亡的具體原因 。 2023/3/29 33 *2023年 10月 23日 《 衛(wèi)報(bào) 》 利用維基解密的數(shù)據(jù)做了一篇 “數(shù)據(jù)新聞 ”。 沒想到這個(gè)舉措居然使尿布和啤酒的銷量都大幅增加了 。 *如過往每到一個(gè)時(shí)點(diǎn) ，該店鋪銷售會(huì)迚入旺季 ，銷售額就會(huì)增長(zhǎng) ， 同時(shí)沒到這個(gè)時(shí)段 ， 該客戶對(duì)外投放的額度就會(huì)上升 ， 結(jié)合這些水文數(shù)據(jù) ，系統(tǒng)可以判斷
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號(hào)-1