【正文】 2023年 2月 2日星期四 8時 54分 35秒 20:54:352 February 2023 ? 1一個人即使已登上頂峰，也仍要自強不息。 2023年 2月 2日星期四 下午 8時 54分 35秒 20:54: ? 1最具挑戰(zhàn)性的挑戰(zhàn)莫過于提升自我。勝人者有力，自勝者強。 :54:3520:54Feb232Feb23 ? 1越是無能的人，越喜歡挑剔別人的錯兒。 , February 2, 2023 ? 閱讀一切好書如同和過去最杰出的人談話。 2023年 2月 2日星期四 8時 54分 35秒 20:54:352 February 2023 ? 1空山新雨后，天氣晚來秋。 。 :54:3520:54:35February 2, 2023 ? 1意志堅強的人能把世界放在手中像泥塊一樣任意揉捏。 :54:3520:54Feb232Feb23 ? 1世間成事，不求其絕對圓滿，留一份不足，可得無限完美。 , February 2, 2023 ? 很多事情努力了未必有結(jié)果，但是不努力卻什么改變也沒有。 2023年 2月 2日星期四 8時 54分 35秒 20:54:352 February 2023 ? 1做前，能夠環(huán)視四周；做時，你只能或者最好沿著以腳為起點的射線向前。 。 :54:3520:54:35February 2, 2023 ? 1他鄉(xiāng)生白發(fā)，舊國見青山。 :54:3520:54Feb232Feb23 ? 1故人江海別，幾度隔山川。 , February 2, 2023 ? 雨中黃葉樹，燈下白頭人。 ? BI=DW+OLAP+DM ? BI=DW+OLAP ? BI=ETL + DW + Query + OLAP + DM 110 BI的實施策略 ?近幾年的大型 BI項目幾乎都是這種思路，先建數(shù)據(jù)倉庫，上 OLAP和報表應(yīng)用，數(shù)據(jù)挖掘在二期考慮 ?出現(xiàn)這樣的潮流因素當然非常多 ? 首先一個因素就是它是流行的，跟隨潮流是一個非常便宜的決策 ? 再有集成商的原因，他們有沒有相應(yīng)的技術(shù)積累； ? 還有客戶的原因，是需求導(dǎo)向，還是做大蛋糕。 ?數(shù)據(jù)集市是相當于部門級數(shù)據(jù)倉庫的、小型的、面向部門或工作組的數(shù)據(jù)倉庫 ? 目前，商業(yè)智能通常被理解為將企業(yè)中現(xiàn)有的數(shù)據(jù)轉(zhuǎn)化為知識，幫助企業(yè)做出明智的業(yè)務(wù)經(jīng)營決策的工具或解決方案。 ? 二者都是為決策提供支持，只是側(cè)重點不同， 最后的決策都是人來做 ? 一種應(yīng)用只有恰當?shù)亟鉀Q了客戶的需求才是好的應(yīng)用 ?Demo： IBM DB2 購物籃 108 商業(yè)智能（ 1） ?什么是商業(yè)智能 ? Busissness Inteligence , BI ? 商業(yè)智能的概念最早在 1996年提出。 ?知識發(fā)現(xiàn)的早期階段， OLAP工具有利于探索數(shù)據(jù)，發(fā)現(xiàn)異常數(shù)據(jù)和互相影響的變量。 107 OLAP和數(shù)據(jù)挖掘的關(guān)系（ 2） ?二者的關(guān)系 ? 數(shù)據(jù)挖掘和 OLAP具有一定的互補性。 ?告訴你啤酒和尿布的規(guī)律 ?比如，一個用數(shù)據(jù)挖掘工具的分析師想找到引起貸款拖欠的風(fēng)險因素。 106 OLAP和數(shù)據(jù)挖掘的關(guān)系（ 2） ?數(shù)據(jù)挖掘 ? DM數(shù)據(jù)驅(qū)動的，提供 探索型 的模型， DM不基于假設(shè) 。如果這個假設(shè)沒有被證實，他可能去察看那些高負債的賬戶，如果還不行，他也許要把收入和負債一起考慮，一直進行下去，直到找到他想要的結(jié)果或放棄。我們只需要 1 條信息，而且實際證明效果確實不錯。 通過采用這種相對簡易的方法，該公司能夠在數(shù)秒內(nèi)生成網(wǎng)頁。例如，如果客戶來自富裕的郊外地區(qū)，網(wǎng)站將顯 示出帶有遙控器的空調(diào)機 。這些郵政編碼信息將被發(fā)送到數(shù)據(jù)挖掘 WebMiner 服務(wù)器。 104 典型案例（ 7）：登錄網(wǎng)站的當前用戶現(xiàn)在最可能購買什么東西 空調(diào)制造廠商開利 (Carrier)公司 聲稱，僅僅通過利用郵政編碼數(shù)據(jù)，其升級版 B2C 網(wǎng)站的每位訪問者所產(chǎn)生的平均收益在一個月內(nèi)從 美元提高到了 美元。現(xiàn)在，當進行更具針對性的營銷活動時，銀行能夠區(qū)別對待不同的客戶群，以提升產(chǎn)品和服務(wù)質(zhì)量，同時還能制訂適當?shù)膬r格和設(shè)計各種獎勵方案，甚至確定利息費用。這些評價可用于 確定客戶購買某一具體產(chǎn)品的可能性 。在第五場比賽中，這個靠數(shù)據(jù)挖掘支持的陣容沒能拖住熱隊，但 Advanced Scout畢竟幫助了魔術(shù)隊贏得了打滿 5場，直到最后才決出勝負的機會。此著果然見效：阿姆斯創(chuàng)得了 21分，哈德衛(wèi)得了 42分，魔術(shù)隊以 88比 79獲勝。然而，當哈德衛(wèi)與替補后衛(wèi)達利爾 .阿姆斯創(chuàng)組合時，魔術(shù)隊得分為正 14分。 例如 Scout就因為研究了魔術(shù)隊隊員不同的布陣安排，在與邁阿密熱隊的比賽中找到了獲勝的機會。 102 典型案例（ 4）： NBA教練如何布陣以提升獲勝機會？ 大約 20個 NBA球隊使用了 IBM公司開發(fā)的數(shù)據(jù)挖掘應(yīng)用軟件Advanced Scout系統(tǒng)來優(yōu)化他們的戰(zhàn)術(shù)組合。 另外，大家都知道在沃爾瑪牙膏的旁邊通常配備牙刷，在貨價上這樣放置，牙膏和牙刷才能都賣的很好。這是一個現(xiàn)代商場智能化信息分析系統(tǒng)發(fā)現(xiàn)的秘密。但是沃爾瑪一年內(nèi)數(shù)據(jù)挖掘的結(jié)果顯示在居民區(qū)中尿布賣得好的店面啤酒也賣得很好 原因其實很簡單，一般太太讓先生下樓買尿布的時候，先生們一般都會犒勞自己兩聽啤酒。 ?…… 97 數(shù)據(jù)挖掘解決的應(yīng)用 ?數(shù)據(jù)挖掘技術(shù)從一開始就是面向應(yīng)用的 ? 尤其是在如銀行、電信、保險、交通、零售（如超級市場）等商業(yè)領(lǐng)域應(yīng)用廣泛。 96 數(shù)據(jù)挖掘分類（ 10） ?異常檢測（ anomaly detection，偏差分析） ? 從數(shù)據(jù)分析中發(fā)現(xiàn)異常情況 ? 信用卡欺詐檢測 ?演化分析 ? 對隨時間變化的數(shù)據(jù)對象的變化規(guī)律和趨勢進行建模描述。 分類是有指導(dǎo)的類別劃分，在若干 先驗 標準的指導(dǎo)下進行，效果好壞取決于標準選取的好壞。 ? 應(yīng)用：顧客定位，然后根據(jù)顧客群特點推出相應(yīng)的產(chǎn)品。 ? 應(yīng)用： Call Center 94 數(shù)據(jù)挖掘分類（ 8） ?聚類分析 (clustering) ? 按照“物以類聚”的原則把一個數(shù)據(jù)集合按照某個標準分成幾個簇的過程。 ? 銀行部門根據(jù)以前的數(shù)據(jù)將客戶分成了不同的類別，現(xiàn)在就可以根據(jù)這些來區(qū)分新申請貸款的客戶，以采取相應(yīng)的貸款方案 。 ?在所有購買了激光打印機的人中，半年后 80%的人再購買新硒鼓， 20%的人用舊硒鼓裝碳粉； ?在所有購買了彩色電視機的人中，有 60%的人再購買 DCD產(chǎn)品 92 數(shù)據(jù)挖掘分類（ 6） ?序列模式分析 (sequence) 93 數(shù)據(jù)挖掘分類（ 7） ?分類分析 ? 兩階段：首先給定已有的數(shù)據(jù)和類別，通過分類算法得到描述和區(qū)分數(shù)據(jù)類或概念的 分類模型 。 91 數(shù)據(jù)挖掘分類（ 5） ?序列模式分析 (sequence) ? 序列模式分析和關(guān)聯(lián)分析相似，但側(cè)重點在于 分析數(shù)據(jù)間的前后（因果）序列關(guān)系 。 ? 置信度表示在出現(xiàn) X 的前提下出現(xiàn) Y 的概率，描述規(guī)則成立的 可信度 。 89 數(shù)據(jù)挖掘分類（ 3） ?關(guān)聯(lián)分析（ association analysis） ? 從技術(shù)層面講，關(guān)聯(lián)規(guī)則挖掘是在給定的事務(wù)數(shù)據(jù)庫中找到所有滿足 最小支持度 和 最小置信度 的形如 X=Y 的規(guī)則，其中 X 和 Y 分別代表屬性集合（稱為項集），并且 X和 Y的交集為空。 ? 它能發(fā)現(xiàn)數(shù)據(jù)庫中形如“ 90%的顧客在一次購買活動中購買商品 A的同時購買商品 B”之類的知識。確定哪些數(shù)據(jù)是重要的、哪些不重要是保證結(jié)果正確的重要前提 87 數(shù)據(jù)挖掘分類（ 1） ?按照功能，即數(shù)據(jù)挖掘所產(chǎn)生的信息形態(tài) ? 分為關(guān)聯(lián)、序列、分類、聚類、異常檢測 ?? ?采用的技術(shù)（模型） ? 決策樹 (decision tree)、關(guān)聯(lián)規(guī)則 (association rules) ? 聚類 (clustering) ? 神經(jīng)網(wǎng)絡(luò) (Artificial Neural Networks，簡記作 ANN) ? 粗糙集 (rough set) ? 概念格 (concept lattice) ? 遺傳算法 (geic algorithms) ? 序列模式 (sequence pattern) ? 貝葉斯 (Bayes) ? 支持向量機 (support vector machine，簡記作 SVM) ? 模糊集 (fuzzy set) 88 數(shù)據(jù)挖掘分類（ 2） ?關(guān)聯(lián)分析（ association analysis） ? 關(guān)聯(lián)是某種事物發(fā)生時其他事物會發(fā)生的一種聯(lián)系。 ?數(shù)據(jù)是可以獲得的 ? 這做起來可能會面臨巨大的挑戰(zhàn)，數(shù)據(jù)可能會因為很多原因而無法獲得。 84 KDD全過程示意描述 85 理解數(shù)據(jù)挖掘 ?功能 ? 它能挖掘出數(shù)據(jù)間潛在的模式 (pattern)，找出最有價值的信息和知識 (knowledge) ?目的 ? 指導(dǎo)商業(yè)行為或輔助科學(xué)研究。模糊的、隨機的數(shù)據(jù)中提取隱含在其中的、人們事先不知道的、但又是潛在有用的信息和知識的過程。 ?度量：確切數(shù)據(jù) —— 定量 ?“指標” （ Metric）是基于兩個或更多度量計算得出的 相對值；它是表示某種相對程度的值 —— 定量 ?管理工具或模型 ? 績效儀表盤、平衡記分卡、作業(yè)成本管理（ ABC） ? 在軟件系統(tǒng)中，常表現(xiàn)為“績效管理”模塊 79 OLAP、 EIS演示 ?觀察、理解以下問題 ?技術(shù)層面 ? 多維模型 ?什么是主題（用什么變量度量） ?什么是維度 ?什么是粒度 ? OLAP ?演示中的哪些操作是切片、旋轉(zhuǎn)、鉆取 ?管理層面 ? 如何支持管理決策 80 理解 OLAP ?OLAP是一種數(shù)據(jù)動態(tài)分析模型 ? 它探究不同的維度 (某一維度可表示為不同的粒度 )對主題（可用不同的變量來度量）有什么樣的影響 ? 維度：自變量， x1, x2…… ? 主題：因變量 y ? OLAP: y ~ f(x1, x2…… xn) ?OLAP與傳統(tǒng)的查詢報表有什么區(qū)別？ 81 DW、 OLAP總結(jié) ?如何支持管理決策 ? 看到數(shù)據(jù)倉庫和 OLAP提供的經(jīng)過整理統(tǒng)計歸納的數(shù)據(jù)后，管理者憑自己的管理經(jīng)驗可以發(fā)現(xiàn)企業(yè)的問題、困難或成功因素在哪一方面，然后可以不斷的追溯數(shù)據(jù)，直到確定到最具體的細節(jié)上，這樣能夠不斷提升管理層的管理水平，不斷改善企業(yè)的管理。 ?軟件中常表現(xiàn)為 儀表盤 （有的地方稱作駕駛艙） 。異常報告！