大數(shù)據(jù)分析與決策(xxxx-1)-wenkub.com
2025-03-09 10:37 本頁面
【正文】 通過引入抽出的獎(jiǎng)券是自 拍桿的信息，可推斷出來自 A的可能性增強(qiáng)，這和邏輯相符。 S代表抽到自拍桿的事件 ， 則問題求的即為 P(A|S)。 無論人們最初關(guān)于事物的認(rèn)識(shí)存在什么樣的差異 ， 在貝葉斯與亞當(dāng)斯密兩重 “ 看不見的手 ” 的作用下 ， “ 隨著越來越多的證據(jù)的出現(xiàn) ， 我們的信念將趨于一致 ， 并且趨于真相 ……即使我們最初擁有有誤的甚至是錯(cuò)得離譜的先驗(yàn)認(rèn)識(shí) ，最終也將趨于真相 。柏林，把一句古希臘諺語“狐貍多技巧，刺猬僅一招”發(fā)揮成關(guān)于兩種類型的思想家之差異的深刻比喻：一類是追求一元論的思想家，他們力圖找出唯一絕對的真理，并將它應(yīng)用于萬事萬物，恰如刺猬遇到危險(xiǎn)總是使用相同的招數(shù)豎起滿身倒刺；另一類則是承認(rèn)多元論的思想家，他們體察世間萬物之復(fù)雜微妙，沒有不變應(yīng)萬變的宗旨，因此寧可自己思想矛盾，亦不強(qiáng)求圓融統(tǒng)一之理，恰如狐貍遇事之靈活、機(jī)智。 Thomas Bayes與亞當(dāng)斯密同時(shí)代且同在蘇格蘭接受教育 ， 他的 貝葉斯定理 （ Bayesian39。 Tetlock等人的研究表明 ， 在現(xiàn)實(shí)的預(yù)測中 ， 狐貍的表現(xiàn)要優(yōu)于刺猬 。 所以 ， 大數(shù)據(jù)時(shí)代中最為關(guān)鍵的應(yīng)該是基于數(shù)據(jù)的模型能否說服決策者據(jù)此進(jìn)行決策 ， 并且?guī)椭鷽Q策者改善決策賺取相應(yīng)的利潤 。 但是 ， 預(yù)測不是大數(shù)據(jù)時(shí)代才有的新問題 ，它是人類本能的一部分 。這個(gè)時(shí)候，我們就需要做一個(gè)猜測，所謂猜測，當(dāng)然就是不確定的， 但也絕對不是兩眼一抹黑瞎蒙。這個(gè)問題，就是所謂的逆概問題。所謂的貝葉斯方法源于托馬斯 而教育背景沒有那么光鮮的 胖托尼 則認(rèn)為下一次投擲硬幣正面朝上的概率為 99%。 *隨著流感的發(fā)展，媒體不斷增加對流感的報(bào)道，引來越來越多人的重視，也就有相應(yīng)一部分人會(huì)通過google來搜索流感關(guān)鍵詞，但是這些人并不一定得了流感。 2023/3/29 39 *谷歌的目的是估算禽流感在整個(gè)美國的發(fā)病率。2023/3/29 35 *2023年 ， 微軟紐約研究院的經(jīng)濟(jì)學(xué)家大衛(wèi)羅斯柴爾德 （ David Rothschild） 利用大數(shù)據(jù)成功預(yù)測 24個(gè)奧斯卡獎(jiǎng)項(xiàng)中的 19個(gè) ， 成為人們津津樂道的話題 。2023/3/29 34 *喬布斯是世界上第一個(gè)對自身所有 DNA和腫瘤 DNA迚行排序的人 。 將伊拉克戰(zhàn)爭中所有的人員傷亡情冴均標(biāo)注于地圖乊上 。 2023/3/29 32 *全球零售業(yè)巨頭沃爾瑪在對消費(fèi)者購物行為分析時(shí)發(fā)現(xiàn) ， 男性顧客在購買嬰兒尿片時(shí) ， 常常會(huì)順便搭配幾瓶啤酒來犒勞自己 ，于是嘗試推出了將啤酒和尿布擺在一起的促銷手段 。 *深交所 “ 大數(shù)據(jù) ” 監(jiān)控系統(tǒng) ，設(shè)置 200多個(gè)指標(biāo)用于監(jiān)控估計(jì) ， 一旦出現(xiàn)股價(jià)偏離大盤的走勢 ， 將利用大數(shù)據(jù)查探異動(dòng)背后的機(jī)構(gòu)或投資人 。 *亞馬遜為了決定要運(yùn)送那些貨物，可能會(huì)參考以前的訂單、商品搜索記彔、愿望清單、購物車、甚至包括用戶的鼠標(biāo)在某件商品上停留的時(shí)間。 2023/3/29 28 *亞馬遜“預(yù)測式發(fā)貨”的新專利，可以通過對用戶數(shù)據(jù)的分析，在他們還沒有下單前，提前發(fā)出包裹。就像 Google 現(xiàn)在所使用的技術(shù)，就是利用服務(wù)器分析與流感關(guān)系十分密切的十幾個(gè)單詞迚行統(tǒng)計(jì)。目前，此類服務(wù)正在日本陸續(xù)展開。實(shí)際上， Li 和 Cardie 在 2023 年 6 月至 2023 年 6 月間，已經(jīng)利用 100 萬美國人的 360 萬條 tweet ，驗(yàn)證了該方法的有效性。首先，從 Twitter 數(shù)據(jù)流中過濾包含與“流感”相關(guān)，并帶有位置標(biāo)簽的 tweet；然后，在地圖上標(biāo)注這些 tweet 的位置分布，以及隨時(shí)間產(chǎn)生的變化。將統(tǒng)計(jì)的查詢數(shù)量與傳統(tǒng)流感監(jiān)測系統(tǒng)的數(shù)據(jù)迚行了對比，結(jié)果發(fā)現(xiàn)許多搜索查詢在流感季節(jié)確實(shí)會(huì)明顯增多。 *某些搜索字詞非常有助于了解流感疫情。 ? Data Quality and Master Data Management（數(shù)據(jù)質(zhì)量和數(shù)據(jù)管理） 數(shù)據(jù)質(zhì)量和數(shù)據(jù)管理是一些管理方面的最佳實(shí)踐。這些算法不僅要處理大數(shù)據(jù)的量，也要處理大數(shù)據(jù)的速度。 top N排行榜；地域占比；文本情感分析 ? 數(shù)據(jù)挖掘：關(guān)聯(lián)規(guī)則分析；分類；聚類 ? 模型預(yù)測：預(yù)測模型；機(jī)器學(xué)習(xí)；建模仿真 ? 大數(shù)據(jù)技術(shù)： ? 數(shù)據(jù)采集： ETL工具 ? 數(shù)據(jù)存?。宏P(guān)系數(shù)據(jù)庫； NoSQL； SQL等 ? 基礎(chǔ)架構(gòu)支持：云存儲(chǔ)；分布式文件系統(tǒng)等 ? 計(jì)算結(jié)果展現(xiàn)：云計(jì)算；標(biāo)簽云；關(guān)系圖等 相關(guān)技術(shù) ? 存儲(chǔ) ? 結(jié)構(gòu)化數(shù)據(jù) ? 海量數(shù)據(jù)的查詢、統(tǒng)計(jì)、更新等操作效率低 ? 非結(jié)構(gòu)化數(shù)據(jù) ? 圖片、視頻、 word、 pdf、 ppt等文件存儲(chǔ) ? 不利于檢索、查詢和存儲(chǔ) ? 半結(jié)構(gòu)化數(shù)據(jù) ? 轉(zhuǎn)換為結(jié)構(gòu)化存儲(chǔ) ? 按照非結(jié)構(gòu)化存儲(chǔ) ? 解決方案： ? Hadoop（ MapReduce技術(shù)） ? 流計(jì)算（ twitter的 storm和 yahoo！的 S4） 數(shù)據(jù)采集 數(shù)據(jù)儲(chǔ)存 數(shù)據(jù)管理 數(shù)據(jù)分析與挖掘 2023/3/29 16 ? Analytic Visualizations（可視化分析） ? Data Mining Algorithms（數(shù)據(jù)挖掘算法） ? Predictive Analytic Capabilities（預(yù)測性分析能力） ? Semantic Engines（語義引擎） ? Data Quality and Master Data Management（數(shù)據(jù)質(zhì)量和數(shù)據(jù)管理） ? Analytic Visualizations（可視化分析） 不管是對數(shù)據(jù)分析專家還是普通用戶，數(shù)據(jù)可視化是數(shù)據(jù)分析工具最基本的要求。 ?計(jì)世資訊認(rèn)為， 2023年是中國大數(shù)據(jù)市場元年，一些大數(shù)據(jù)產(chǎn)品已經(jīng)推出，部分行業(yè)也有大數(shù)據(jù)應(yīng)用案例的產(chǎn)生。該計(jì)劃的目標(biāo)是改迚現(xiàn)有人們從海量和復(fù)雜的數(shù)據(jù)中獲取知識(shí)的能力，從而加速美國在科學(xué)與工程領(lǐng)域發(fā)明的步伐，增強(qiáng)國家安全，轉(zhuǎn)變現(xiàn)有的教學(xué)和學(xué)習(xí)方式?？梢愿嬖V我們未來會(huì)發(fā)生什么。 ? 單個(gè)數(shù)據(jù)可能價(jià)值不大，但是數(shù)據(jù)整體還是有高價(jià)值的（比如一個(gè)班級大家發(fā)的微博可能沒有特別大的意義，但是全國高校大學(xué)生發(fā)的微博就可以反映當(dāng)代大學(xué)生思想理念） 202
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號-1