【正文】 即分析哪些商品最有希望被顧客一起購(gòu)買。 ? 兩個(gè)或兩個(gè)以上變量的取值之間存在某種規(guī)律性，就稱為關(guān)聯(lián)。 2022/2/3 11 數(shù)據(jù)挖掘的特點(diǎn) ? 關(guān)聯(lián)分析 ? 分類 ? 聚類分析 ?…… 介紹上述功能的一些具體計(jì)算方法。而數(shù)據(jù)挖掘是發(fā)現(xiàn)驅(qū)動(dòng)的，即自動(dòng)地從數(shù)據(jù)中提取模式和假定 ? 數(shù)據(jù)挖掘的數(shù)量常常很巨大 面臨的常常是大型數(shù)據(jù)庫(kù)，而且常常為其他目的而收集好的數(shù)據(jù)。 例如： 比如：孫子說(shuō)“至死地而后生”是戰(zhàn)爭(zhēng)模式 三十六計(jì)“走為上”、“空城計(jì)”也是戰(zhàn)爭(zhēng)模式。其實(shí)就是解決某一類問(wèn)題的方法論。2022/2/3 1 China Academy of Chinese Medical Sciences 數(shù)據(jù)挖掘 在中醫(yī)藥研究中的應(yīng)用 中醫(yī)藥信息研究所 數(shù)據(jù)挖掘的相關(guān)概念 數(shù)據(jù)挖掘在中醫(yī)藥領(lǐng)域中的應(yīng)用 內(nèi)容 課 容 內(nèi) 程 2 產(chǎn)生 數(shù)據(jù)挖掘的產(chǎn)生 3 ? 什么激發(fā)了數(shù)據(jù)挖掘？ —— “數(shù)據(jù)爆炸”但“知識(shí)貧乏” 4 信息社會(huì)迅猛發(fā)展 sz數(shù)據(jù)激增 發(fā)現(xiàn)隱藏信息 利用數(shù)據(jù) 獲取知識(shí) 為我所用 大型數(shù)據(jù)庫(kù) 涌現(xiàn) 數(shù)據(jù)庫(kù)技術(shù) 發(fā)展 用戶不滿足 于數(shù)據(jù)庫(kù)的 查詢功能 統(tǒng)計(jì)學(xué) 機(jī)器學(xué)習(xí) 模式 識(shí)別 信息科學(xué) 數(shù)據(jù)庫(kù) 可視化 數(shù)據(jù) 挖掘 數(shù)據(jù)挖掘的出現(xiàn)是數(shù)據(jù)庫(kù)技術(shù)發(fā)展的必然 借用 挖掘金礦的名稱 數(shù)據(jù) 知識(shí) 數(shù) 據(jù) 挖 掘 希望利用數(shù)據(jù)挖掘技術(shù)解決“數(shù)據(jù)豐富”與 “知識(shí)貧乏”之間的矛盾 2022/2/3 7 數(shù)據(jù)挖掘的歷史 1989年 11屆國(guó)際人工智能研討會(huì) 首次提出了基于數(shù)據(jù)挖掘的知識(shí)發(fā)現(xiàn) 由美國(guó)人工智能協(xié)會(huì)主辦的知識(shí)發(fā)現(xiàn)國(guó)際研討會(huì)已經(jīng)召開(kāi)了 8次，規(guī)模由原來(lái)的專題討論會(huì)發(fā)展到國(guó)際學(xué)術(shù)大會(huì) 國(guó)內(nèi)： 1993年國(guó)家自然科學(xué)基金首次支持該領(lǐng)域的研究項(xiàng)目。目前，國(guó)內(nèi)的許多科研單位和高等院校競(jìng)相開(kāi)展知識(shí)發(fā)現(xiàn)的基礎(chǔ)理論及其應(yīng)用研究， 2022年國(guó)家自然基金資助數(shù)據(jù)挖掘研究 ? 66項(xiàng)目數(shù)據(jù)挖掘項(xiàng)目 ? 西醫(yī)： 基于多模式序列超聲圖像識(shí)別系統(tǒng)診斷乳腺癌的方法學(xué)研究 —— 田家瑋，哈爾濱醫(yī)科大學(xué) ? 中醫(yī)： ? 應(yīng)用數(shù)據(jù)挖掘技術(shù)研究中醫(yī)藥治療再生障礙性貧血的組方規(guī)律 —— 向陽(yáng)，中國(guó)人民解放軍第 210醫(yī)院 ? 基于智能計(jì)算的中醫(yī)方劑基礎(chǔ)治法模型的構(gòu)建 —— 任廷革，北京中醫(yī)藥大學(xué) ? 基于數(shù)據(jù)挖掘的針灸法效應(yīng)特異性基本規(guī)律及特點(diǎn)的研究 —— 賈春生，河北醫(yī)科大學(xué) ? 中藥新藥有效核心處方發(fā)現(xiàn)的隨機(jī)對(duì)照忙發(fā)設(shè)計(jì)方法研究 —— 何麗云，中國(guó)中醫(yī)科學(xué)院中醫(yī)臨床基礎(chǔ)醫(yī)學(xué)研究所 2022/2/3 8 2022/2/3 9 數(shù)據(jù)挖掘的概念 數(shù)據(jù)挖掘 :Data Mining. 數(shù)據(jù)中發(fā)現(xiàn)有效的、新穎的、潛在有用的，并且最終可以被讀懂的 模式 的過(guò)程 模式，即 pattern。即把解決某類問(wèn)題的方法總結(jié)歸納到理論高度，那就是模式。 2022/2/3 10 數(shù)據(jù)挖掘與其他概念 數(shù)據(jù)挖掘和知識(shí)發(fā)現(xiàn)（ KDD KNOWLEDGE DISCOVERY IN DATABASE） ?有人認(rèn)為是一樣的只是不同領(lǐng)域稱呼不同 ?數(shù)據(jù)挖掘是知識(shí)發(fā)現(xiàn)的過(guò)程的一部分 數(shù)據(jù)挖掘與數(shù)據(jù)分析 ?數(shù)據(jù)挖掘是一個(gè)動(dòng)態(tài)過(guò)程，能夠比數(shù)據(jù)分析更智能地使用數(shù)據(jù)倉(cāng)庫(kù) 數(shù)據(jù)挖掘與統(tǒng)計(jì)學(xué) ?統(tǒng)計(jì)學(xué)推斷是假設(shè)驅(qū)動(dòng)的，即形成假設(shè)并在數(shù)據(jù)上驗(yàn)證它。 ? 發(fā)現(xiàn)隱含的知識(shí) 數(shù)據(jù)挖掘工作者不愿把先驗(yàn)知識(shí)預(yù)先嵌入算法，是在沒(méi)有前提假設(shè)的情況下，從事信息的挖掘與知識(shí)的提取。 2022/2/3 12 數(shù)據(jù)挖掘的基本功能 關(guān)聯(lián)分析 ? association analysis ? 關(guān)聯(lián)分析是發(fā)現(xiàn)關(guān)聯(lián)規(guī)則。 ? 關(guān)聯(lián)分析的挖掘過(guò)程就是發(fā)現(xiàn)大量數(shù)據(jù)中項(xiàng)集之間有趣的關(guān)聯(lián)或相關(guān)聯(lián)系。 ? 每逢周末與尿布一起購(gòu)買最多的商品是 16 —— 啤酒！ 原因：美國(guó)的太太們常叮囑她們的丈夫下班后為小孩買尿布，而丈夫們?cè)谫I尿布后又隨手帶回了他們喜歡的啤酒。 此結(jié)果蘊(yùn)含著巨大的商業(yè)價(jià)值： 兩件 商品 間隔 最遠(yuǎn) 兩件 商品 放在 一起 啤酒 尿布 如何完成？ ? 通過(guò)支持度和置信度高低來(lái)衡量關(guān)聯(lián)的強(qiáng)度。 收據(jù) 1：啤酒、面包、方便面、鹽、 收據(jù) 2：陳皮、可樂(lè)、米、面包、鹽 收據(jù) 3：面包 、被子、枕頭、 收據(jù) 4： 椅子、筆記本 收據(jù) 5：可樂(lè) 、椅子、枕頭、面包 收據(jù) 6：面包、筆記本 ?? 收據(jù) 1：啤酒、面包、方便面、鹽、 收據(jù) 2：陳皮、可樂(lè)、米、面包、鹽 收據(jù) 3：面包 、被子、枕頭、 收據(jù) 4： 椅子、筆記本 收據(jù) 5：可樂(lè) 、椅子、枕頭、面包 收據(jù) 6：面包、筆記本 ? 支持度（ｓｕｐｐｏｒｔ）計(jì)算公式 A商品和 B商品共同出現(xiàn)在一個(gè)收據(jù)次數(shù) —————————————————————— 總次數(shù) 2 SUPPORT（面包、枕頭） =—————— =% 6 收據(jù) 1：啤酒、面包、方便面、鹽、 收據(jù) 2：陳皮、可樂(lè)、米、面包、鹽 收據(jù) 3：面包 、被子、枕頭、 收據(jù) 4： 椅子、筆記本 收據(jù) 5：可樂(lè)、椅子、枕頭、面包 收據(jù) 6：面包、筆記本 ? 置信度（ confidenceｔ： A→B ）＝ A商品和 B商品共同出現(xiàn)在一個(gè)收據(jù)次數(shù) —————————————————————— A商品出現(xiàn)次數(shù) 2 SUPPORT（枕頭 → 面包） =————— =40% 5 2022/2/3 22 置信度（ congfidence： B→ A）＝ A商品和 B商品共同出現(xiàn)在一個(gè)收據(jù)次數(shù) —————————————————————— B商品出現(xiàn)次數(shù) 收據(jù) 1：啤酒、面包、方便面、鹽、 收據(jù) 2：陳皮、可樂(lè)、米、面包、鹽 收據(jù) 3：面包 、被子、枕頭、 收據(jù) 4： 椅子、筆記本 收據(jù) 5：可樂(lè)、椅子、枕頭、面包 收據(jù) 6：面包、筆記本 2 SUPPORT（面包 → 枕頭） =————— =100% 2 頻繁子集篩選 獲得挖掘結(jié)果 置信度 支持度 商品 1，商品 2 90% 80% 商品 1，商品 3 70% 40% 商品 4，商品 5 80% 89% 商品 6，商品 8 40% 50% 商品 7，商品 9 30% 20% ……. 有 意 義 無(wú) 意 義 關(guān)聯(lián)分析特點(diǎn) ? 可以從大量數(shù)據(jù)中發(fā)現(xiàn)有趣的關(guān)聯(lián) 2022/2/3 24 聚類分析 ? clustering ? 將異質(zhì)總體分成為同質(zhì)性的類別 ? 根據(jù)數(shù)據(jù)自動(dòng)產(chǎn)生各個(gè)類別 ? 例如：作者群的自動(dòng)聚類。 ? 通常最常用的計(jì)算方式就是“歐式距離” 歐式距離表示多維空間的幾何距離：例如： 2022/2/3 28 A人物像 B人物像 裙子 1 0 頭發(fā) 4 1 衣著鮮艷 1 0 歐式距離計(jì)算 2022/2/3 29 裙子 x 頭發(fā) x 衣著鮮艷 z A人物像 B人物像 裙子 1 0 頭發(fā) 4 1 衣著鮮艷 1 0 歐式距離 歐式距離計(jì)算 完成相似度度量 ? 公式： DISTANCE(A,B)= = = 注意的是最相近的值（一樣）一定是 0 2022/2/3 30 A人物像 B人物像 裙子 1 0 頭發(fā) 4 1 衣著鮮艷 1 0 計(jì)算相似度后如何聚類？ 2022/2/3 31 計(jì)算相似度后如何聚類？ （自下而上的層次聚類法） ? 有了具體相似度量后，每?jī)蓚€(gè)對(duì)象之間都形成一個(gè)相似度值。 matrix 兩個(gè)合并在一起的簇怎么和其他對(duì)象比較？ 3*3的矩陣 有很多計(jì)算方法：介紹單連接： D（ c1， c2） =Min{d（ o， O） } D( ， )= Min{d（ ， ） ,d( , )}=2 2022/2/3 33 0 ？ 0 ？ 4 0 0 1 0 11 2 0 5 3 4 0 2 11 2022/2/3 34 ? 有很多規(guī)定定義這種計(jì)算。 0 2 0 3 4 0 ? 聚類完成 2022/2/3 35 0 3 0 聚類分析特點(diǎn) ? 是物以類聚的一種統(tǒng)計(jì)分析方法。 ? 在中醫(yī)藥中應(yīng)用： 一組某病人，利用聚類，聚集成幾類，推斷出該病常見(jiàn)證型有哪些？ 2022/2/3 36 分類 ? Classification ? 即為按照分析對(duì)象的屬性分門別類加以定義，建立類別。 如有申請(qǐng)貸款者，根據(jù)所填寫信息，利用數(shù)據(jù)挖掘方法，劃分其是三類用戶中那一類。 ? 14天不同天氣情況下打網(wǎng)球的情況 ? 分類目的：根據(jù)新的一天天氣，決定是否打網(wǎng)球 2022/2/3 39 天氣 溫度 濕度 有風(fēng) yes No yes No yes no yes no 晴 2 3 熱 2 2 高 3 4 否 6 2 多云 4 0 溫暖 4 2 正常 6 1 是 3 3 雨 3 2 涼爽 3 1 打網(wǎng)球 YES NO 9 5 實(shí)例：根據(jù)以往打網(wǎng)球的情況，看看根據(jù)新一天的天氣情況，能否打網(wǎng)球？ ? 目的： ? 給出新一天的氣候：看看是否打網(wǎng)球？ ? 貝葉斯模型利用概率的方式計(jì)算 : 就是在天氣（晴） =YES , 氣溫（涼爽）=YES , 濕度（高） =YES ,有風(fēng) =YES的條件下： 打網(wǎng)球是否為 YES? 2022/2/3 40 天氣 氣溫 濕度 有風(fēng) 晴 涼爽 高 是 計(jì)算過(guò)程 轉(zhuǎn)換 14天打網(wǎng)球情況為概率表 ? 14天不同天氣情況下打網(wǎng)球的情況 2022/2/3 41 天氣 溫度 濕度 有風(fēng) 打網(wǎng)球 yes No yes No yes no yes no yes No 晴 2 3 熱 2 2 高 3 4 否 6 2 9 5 多云 4 0 溫暖 4 2 正常 6 1 是 3 3 雨 3 2 涼爽 3 1 天氣 溫度 濕度 有風(fēng) 打網(wǎng)球 yes No yes No yes no yes no yes No 晴 2/9 3/5 熱 2/9 2/5 高 3/9 4/5 否 6/9 2/5 9/14 5/14 多云 4/9 0 溫暖 4/9 2/5 正常 6/9 1/5 是 3/9 3/5 雨 3/9 2/5 涼爽 3/9 1/5 天氣 溫度 濕度 有風(fēng) 打網(wǎng)球 yes No yes No yes no yes no yes No 晴 2/9 3/5 熱 2/9 2/5 高 3/9 4/5 否 6/9 2/5 9/14 5/14 多云 4/9 0 溫暖 4/9 2/5 正