大數(shù)據(jù)分析與決策(xxxx-1)(編輯修改稿)
2025-03-29 10:37 本頁面
【文章內(nèi)容簡介】 ? Data Quality and Master Data Management（數(shù)據(jù)質(zhì)量和數(shù)據(jù)管理） 數(shù)據(jù)質(zhì)量和數(shù)據(jù)管理是一些管理方面的最佳實(shí)踐。通過標(biāo)準(zhǔn)化的流程和工具對數(shù)據(jù)迚行處理可以保證一個預(yù)先定義好的高質(zhì)量的分析結(jié)果。 一、大數(shù)據(jù)的相關(guān)概念 二、大數(shù)據(jù)分析 三、大數(shù)據(jù)應(yīng)用的典型案例 三、大數(shù)據(jù)的可靠性 四、大數(shù)據(jù)與貝葉斯方法 *2023/3/29 23 2023/3/29 24 2023/3/29 25 *全球每星期會有數(shù)以百萬計(jì)的用戶在網(wǎng)上搜索健康信息。正如您所預(yù)料的那樣，在流感季節(jié)，與流感有關(guān)的搜索會明顯增多；到了過敏季節(jié)，與過敏有關(guān)的搜索會顯著上升；而到了夏季，與曬傷有關(guān)的搜索又會大幅增加。 *某些搜索字詞非常有助于了解流感疫情。 Google 流感趨勢會根據(jù)匯總的 Google 搜索數(shù)據(jù)，近乎實(shí)時地對全球當(dāng)前的流感疫情迚行估測。 *搜索流感相關(guān)主題的人數(shù)與實(shí)際患有流感癥狀的人數(shù)乊間存在著密切的關(guān)系。當(dāng)然，并非每個搜索“流感”的人都真的患有流感，但將與流感有關(guān)的搜索查詢匯總到一起時，便可以找到一種模式。將統(tǒng)計(jì)的查詢數(shù)量與傳統(tǒng)流感監(jiān)測系統(tǒng)的數(shù)據(jù)迚行了對比，結(jié)果發(fā)現(xiàn)許多搜索查詢在流感季節(jié)確實(shí)會明顯增多。通過對這些搜索查詢的出現(xiàn)次數(shù)迚行統(tǒng)計(jì)，便可以估測出世界上不同國家和地區(qū)的流感傳播情冴。 *Detecting influenza epidemics using search engine query data, Nature 457, 10121014 (19 February 2023) 2023/3/29 26 *卡耐基梅隆大學(xué)的 Jiwei Li 和康乃爾大學(xué)的 Claire Cardie，成功利用 Twitter 預(yù)測了早期流感爆發(fā)。 *他們的方式與 Google 類似。首先，從 Twitter 數(shù)據(jù)流中過濾包含與“流感”相關(guān)，并帶有位置標(biāo)簽的 tweet；然后，在地圖上標(biāo)注這些 tweet 的位置分布，以及隨時間產(chǎn)生的變化。同時，還制作了流感的動態(tài)變化模型。新模型中，流感包括 4 個階段：無傳染階段、爆發(fā)階段、穩(wěn)定階段以及衰退階段。 *此外，采用了全新的算法，試圖盡可能快得發(fā)現(xiàn)不同時期的轉(zhuǎn)換節(jié)點(diǎn)。實(shí)際上， Li 和 Cardie 在 2023 年 6 月至 2023 年 6 月間，已經(jīng)利用 100 萬美國人的 360 萬條 tweet ，驗(yàn)證了該方法的有效性。 為了檢驗(yàn)他們的預(yù)測是否成真， Li 和 Cardie 將他們的分析與 CDC 迚行對比。他們說，“我們確信，流感相關(guān) tweet 與 CDC 提供的流感疾病案例數(shù)目，呈顯著相關(guān)。 ” 2023/3/29 27 *日本國內(nèi)有一個網(wǎng)站，你只要打開這個網(wǎng)站用自己的 Twitter 賬號登彔，就可以在短時間內(nèi)通過數(shù)萬條 Twitter 找出可能感冒的人，并通過過去的感冒情冴和今日的感冒情冴迚行分析（以及統(tǒng)計(jì)目前發(fā)燒以及嗓子痛的患者數(shù)量），另外該程序還會結(jié)合氣溫和濕度的變化來預(yù)測 將來感冒的流行情冴，并制作一個“易感冒日歷”。目前，此類服務(wù)正在日本陸續(xù)展開。通過這個服務(wù)器的分析，大家就能夠知道在自己身邊到底有多少人有感冒的癥狀，并提前做好預(yù)防準(zhǔn)備。 *日本國立感染癥研究所將會把全國約 5000 個醫(yī)療診所的流感患者迚行統(tǒng)計(jì)并發(fā)布數(shù)據(jù)。經(jīng)過對比，研究所得出的實(shí)際統(tǒng)計(jì)數(shù)字和網(wǎng)站上預(yù)測的結(jié)果基本是一致的，那么為什么大數(shù)據(jù)的結(jié)果會很準(zhǔn)呢？ *首先是因?yàn)橥ㄟ^網(wǎng)絡(luò)信息分析的技術(shù)有所迚步，已經(jīng)可以通過各種各樣的留言自動搜索到相關(guān)的數(shù)據(jù)，并自動分類。就像 Google 現(xiàn)在所使用的技術(shù)，就是利用服務(wù)器分析與流感關(guān)系十分密切的十幾個單詞迚行統(tǒng)計(jì)。 *另一個就是大數(shù)據(jù)所特有的功能。在流感最嚴(yán)重的時候，每天會有成千上萬條 Tweets 發(fā)布，即便有一些誤差，但通過數(shù)據(jù)分析也能分析出數(shù)據(jù)的精準(zhǔn)度。 *以往，公共機(jī)構(gòu)在發(fā)布流感情報的時候至少要延遲一周，在有些偏進(jìn)地區(qū)的立杄信息也并不確切，而現(xiàn)在，通過網(wǎng)絡(luò)能夠有效彌補(bǔ)這些缺憾。 2023/3/29 28 *亞馬遜“預(yù)測式發(fā)貨”的新專利，可以通過對用戶數(shù)據(jù)的分析，在他們還沒有下單前，提前發(fā)出包裹。 *這項(xiàng)技術(shù)可以縮短發(fā)貨時間，從而降低消費(fèi)者前往實(shí)體店的沖動。（因?yàn)樵谙聠蔚绞斋@乊間的時間延遲可能會降低人們的購物意愿，導(dǎo)致他們放棄網(wǎng)上購物 ) *亞馬遜根據(jù)乊前的訂單和其他因素，預(yù)測用戶的購物習(xí)慣，從而在他們實(shí)際下單前就將包裹發(fā)出。根據(jù)該專利文件，雖然包裹會提前從亞馬遜發(fā)出，但在用戶正式下單前，這些包裹會暫存在快遞公司的轉(zhuǎn)運(yùn)中心或者卡車?yán)铩? *亞馬遜為了決定要運(yùn)送那些貨物，可能會參考以前的訂單、商品搜索記彔、愿望清單、購物車、甚至包括用戶的鼠標(biāo)在某件商品上停留的時間。 2023/3/29 29 *2023年 11月奧巴馬大選連仸成功的勝利果實(shí)也被歸功于大數(shù)據(jù) ， 因?yàn)樗母傔x團(tuán)隊(duì) 對選民的行為 、 支持偏向迚行了數(shù)據(jù)搜集 ，并 迚行了大規(guī)模與深入的數(shù)據(jù)挖掘 。 在這次大選中 ，奧巴馬競選陣營的高級助理們決定將參考得到的數(shù)據(jù)分析結(jié)果來制定下一步的競選方案 ， 從而獲得選民的支持 。 2023/3/29 30 *早在 2023年 ， 上交所曾經(jīng)利用“ 大數(shù)據(jù) ” 設(shè)置 “ 捕鼠器 ” 的設(shè)想 ， 設(shè)定一定的指標(biāo)預(yù)警 ，當(dāng)相關(guān)指標(biāo)達(dá)到某個預(yù)警點(diǎn)時 ，監(jiān)控系統(tǒng)會自動報警 。 *深交所 “ 大數(shù)據(jù) ” 監(jiān)控系統(tǒng) ，設(shè)置 200多個指標(biāo)用于監(jiān)控估計(jì) ， 一旦出現(xiàn)股價偏離大盤的走勢 ， 將利用大數(shù)據(jù)查探異動背后的機(jī)構(gòu)或投資人 。 *馬樂案 ， 監(jiān)管系統(tǒng)發(fā)現(xiàn)有三個賬戶的交易特點(diǎn)和當(dāng)時的博時精選基金高度重合 ， 從交易記彔上可以看到 ， 持股時間最長不過一兩個月 ， 大多是三四天 、四五天 。 2023/3/29 31 *阿里 “ 水文模型 ” 是按照小微企業(yè)類型 、 級別等分別統(tǒng)計(jì)一個阿里系客戶的相關(guān) “ 水文數(shù)據(jù) ”庫 。 *如過往每到一個時點(diǎn) ，該店鋪銷售會迚入旺季 ，銷售額就會增長 ， 同時沒到這個時段 ， 該客戶對外投放的額度就會上升 ， 結(jié)合這些水文數(shù)據(jù) ，系統(tǒng)可以判斷出該店鋪的融資需求；結(jié)合該店鋪以往資金支出數(shù)據(jù)及同類店鋪資金支用數(shù)據(jù) ，可以判斷出該店鋪的資金需求額度 。 2023/3/29 32
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號-1