【正文】 表格? 使用方式簡單、靈活，有完備的聯(lián)機幫助功能? 軟件開放性好，能方便地和其他軟件進行數(shù)據(jù)交換59 *學(xué)習(xí)使用統(tǒng)計分析軟件的 基本 方法? 弄清分析的目的? 正確收集待處理和分析的數(shù)據(jù) (目的、影響因素的剔除）? 弄清分析方法的概念、含義和適用范圍。首先 , 所有訓(xùn)練樣本都位于根節(jié)點252。 play basketball ? eat cereal [40%, %] 是一個誤導(dǎo)規(guī)則 , 因為吃谷類食品的學(xué)生占學(xué)生總數(shù)的 75%, 比 %更高216。3750人吃谷類食品252。 C ? A (50%, 100%)顧客購買尿布顧客購買兩者顧客購買啤酒47 *對支持度與置信度的批判n示例? 總共 5000名學(xué)生 , 其中252。? 簡單的報表、圖表及多維分析仍是日常分析工作的主要內(nèi)容? 小樣本數(shù)據(jù)的分析傳統(tǒng)統(tǒng)計分析方法更成熟有效，如趨勢預(yù)測? 某些特定業(yè)務(wù)問題無法用數(shù)據(jù)挖掘算法加以解決，例如?資源最優(yōu)配置問題是個運籌學(xué)問題?某些物流管理問題或者供應(yīng)鏈管理問題是個隨機規(guī)劃問題?營銷預(yù)演本質(zhì)是個系統(tǒng)仿真問題43 *幾個基本概念n模型（ Model） vs 模式（ Pattern）? 數(shù)據(jù)挖掘的根本目的就是把樣本數(shù)據(jù)中隱含的結(jié)構(gòu)泛化（ Generalize）到總體（Population）上去? 模型：對數(shù)據(jù)集的一種全局性的整體特征的描述或概括，適用于數(shù)據(jù)空間中的所有點，例如聚類分析? 模式：對數(shù)據(jù)集的一種局部性的有限特征的描述或概括，適用于數(shù)據(jù)空間的一個子集，例如關(guān)聯(lián)分析n算法（ Algorithm）：一個定義完備（ welldefined）的過程，它以數(shù)據(jù)作為輸入并產(chǎn)生模型或模式形式的輸出n描述型挖掘（ Descriptive） vs 預(yù)測型挖掘（ Predictive）? 描述型挖掘：對數(shù)據(jù)進行概括，以方便的形式呈現(xiàn)數(shù)據(jù)的重要特征? 預(yù)測型挖掘：根據(jù)觀察到的對象特征值來預(yù)測它的其他特征值? 描述型挖掘可以是目的，也可以是手段44 *幾類基本的挖掘算法n關(guān)聯(lián)規(guī)則（模式、描述型）? 發(fā)現(xiàn)數(shù)據(jù)集中的頻繁模式? 例如： buy(x,”diapers”) ? buy(x,”beers”) [%, 60%]n分類與預(yù)測（模型、預(yù)測型）? 發(fā)現(xiàn)能夠區(qū)分或預(yù)測目標(biāo)變量（唯一的）的規(guī)則或者函數(shù)? 分類的目標(biāo)變量一般是范疇型的，而預(yù)測則是數(shù)量型的，并不必然帶有任何時間延續(xù)型的暗示? 例如：股票市值的預(yù)測，病人病情的判斷n聚類（模型、描述型）? 對數(shù)據(jù)分組以形成新類，類標(biāo)記是未知的? 例如：市場細分n孤立點探測（ Outlier Detection）（模式、預(yù)測型）? 分析異?；蛟肼晹?shù)據(jù)的行為模式? 例如：欺詐檢測45 *關(guān)聯(lián)規(guī)則的基本概念n基本定義? 給定（ 1）事務(wù)數(shù)據(jù)集（ 2）每個事務(wù)是數(shù)據(jù)項的集合，試圖發(fā)現(xiàn)項集中的頻繁模式或關(guān)聯(lián)關(guān)系? 所謂頻繁模式或者關(guān)聯(lián)規(guī)則就是一個具有 “A ? B”形式的邏輯蘊涵式? 頻繁模式并不必然蘊涵著因果關(guān)系或相關(guān)關(guān)系！? 算法實現(xiàn)基本上基于 APRIORI法則：頻繁項集的所有非空子集一定也是頻繁（Frequent）的n基本分類? 布爾關(guān)聯(lián)規(guī)則 vs 定量關(guān)聯(lián)規(guī)則?buy(x,”diapers”) ? buy(x,”beers”)?Age(x,”30..39”) ^ ine(x,”42k..48k”) ? buy(x,”PC”)? 單維關(guān)聯(lián)規(guī)則 vs 多維關(guān)聯(lián)規(guī)則? 單層關(guān)聯(lián)規(guī)則 vs 多層關(guān)聯(lián)規(guī)則?Age(x,”30..39”) ^ ine(x,”42k..48k”) ? buy(x,”IBM PC”)? 序列模式（ Sequence Pattern）?數(shù)據(jù)項是一個包含時間標(biāo)簽的序偶 [item(i),t]46 *關(guān)聯(lián)規(guī)則的度量n發(fā)現(xiàn)具有最小置信度和支持度的全部規(guī)則 X ^ Y ? Z ? 支持度 (support), s, 事務(wù)中包含 {X Y Z}的概率? 置信度 (confidence), c, 事務(wù)中包含 {X Y}的條件下 , 包含 Z的條件概率n令最小支持度為 50%, 最小置信度為50%, 則有216。? 只見樹木，不見森林（ Drowning in data but starving for information）? 計算復(fù)雜度? 數(shù)據(jù)管理問題? 數(shù)據(jù)類型的多樣性處理大容量數(shù)據(jù)是數(shù)據(jù)挖掘技術(shù)區(qū)別于其他數(shù)據(jù)分析方法的唯一標(biāo)志嗎？36 *其他數(shù)據(jù)分析方法：統(tǒng)計學(xué)n從處理數(shù)據(jù)的角度看、? 數(shù)據(jù)規(guī)模不同? 數(shù)據(jù)來源不同：觀測數(shù)據(jù)（ Secondary Analysis） VS 試驗數(shù)據(jù)（ Primary Analysis）? 數(shù)據(jù)類型不同（結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)）n從分析思想的角度看? 更關(guān)注實證性分析（ Empirical Analysis）而非探索性分析（ Exploratory Analysis）? 更關(guān)注模型（ Model）而非算法（ Algorithm）n但二者具有相當(dāng)密切的聯(lián)系? 從數(shù)據(jù)分析的角度，統(tǒng)計學(xué)現(xiàn)在是且仍將是數(shù)據(jù)挖掘最重要的技術(shù)支撐和思想源泉? 更加深入的滲透和交叉（如探索性數(shù)據(jù)分析， EDA）數(shù)據(jù)挖掘是數(shù)據(jù)驅(qū)動的探索性分析 !37 *數(shù)據(jù)挖掘：多學(xué)科的匯合數(shù)據(jù)挖掘數(shù)據(jù)庫技術(shù) 統(tǒng)計學(xué)其它學(xué)科信息科學(xué)機器學(xué)習(xí) 可視化人工智能科學(xué)計算38 *數(shù)據(jù)挖掘是一個過程 “from data mining to knowledge discovery in database”. U. fayyad, and (1996)39 *數(shù)據(jù)挖掘過程中的數(shù)據(jù)預(yù)處理n數(shù)據(jù)清洗? 填充缺失值 , 修均噪聲數(shù)據(jù) , 識別或刪除孤立點 , 并解決數(shù)據(jù)不一致問題? 主要分析方法：分箱（ Binning）、聚類、回歸n數(shù)據(jù)集成? 多個數(shù)據(jù)庫、數(shù)據(jù)方或文件的集成n數(shù)據(jù)變換? 規(guī)范化與匯總n數(shù)據(jù)簡化? 減少數(shù)據(jù)量的同時 , 還可以得到相同或相近的分析結(jié)果? 主要分析方法：抽樣、主成分分析n數(shù)據(jù)離散化? 數(shù)據(jù)簡化的一部分 , 但非常重要 (尤其對于數(shù)值型數(shù)據(jù)來說 )40 *數(shù)據(jù)挖掘過程中的數(shù)據(jù)探索n探索性數(shù)據(jù)分析（ Exploratory Data Analysis, EDA）? 探索性地查看數(shù)據(jù)，概括數(shù)據(jù)集的結(jié)構(gòu)和關(guān)系? 對數(shù)據(jù)集沒有各種嚴(yán)格假定? “ 玩 ” 數(shù)據(jù)n主要任務(wù)? 數(shù)據(jù)可視化（ a picture is worth a thousand words）? 殘差分析（數(shù)據(jù)＝擬合 + 殘差）? 數(shù)據(jù)的重新表達（什么樣的尺度－對數(shù)抑或平方跟－會簡化分析？）? 方法的耐抗性（對數(shù)據(jù)局部不良的不敏感性，如中位數(shù)耐抗甚于均值）n常見方法? 統(tǒng)計量，如均值、方差、根方差、協(xié)方差、峰度、偏度、相關(guān)系數(shù)等? 統(tǒng)計圖，如餅圖、直方圖、散點圖、箱尾圖等? 模型，如聚類41 *數(shù)據(jù)挖掘結(jié)果的評價n興趣度度量：一個模式是有意義的，如果它易于被人理解，在某種程度上，對于新數(shù)據(jù)或者測試數(shù)據(jù)是有效的、潛在有用或者驗證了用戶渴望確認的某些假設(shè)。? 數(shù)量分析的類型 按照分析的目的– 探索性數(shù)據(jù)分析– 描述性數(shù)據(jù)分析– 解釋性數(shù)據(jù)分析 按照問題的本質(zhì)– 確定性分析– 不確定性分析27 *數(shù)量分析中的模型化方法? 數(shù)量模型是對現(xiàn)實問題的描述和模仿? 模型是為認識目的或?qū)嵺`目的而建立的? 典型的模型化過程28 *數(shù)據(jù)分析模型? 絕對模型（ Categorical Model）：依據(jù)預(yù)定義路徑尋找原因，如查詢? 解釋模型（ Exegetical Model）：依據(jù)多層次路徑尋找原因，如多維分析? 思考模型（ Contemplative Model）：參數(shù)化路徑，如場景分析? 公式模型（ Formulaic Model）：模型化路徑，如數(shù)據(jù)挖掘Reporting Ad Hoc Queries Predictive ModelingWhat happened ? Why did it happen ?What will happen ?ROI應(yīng)用復(fù)雜性Stage 3Stage 2Stage 1Human Discovery Machineassisted Discovery29 *常用的數(shù)據(jù)分析方法 /模型? 數(shù)量分析是對事物的數(shù)量特征、數(shù)量關(guān)系與數(shù)量變化的分析。初步思路進行兩個方面的研究： 本研究的內(nèi)容主要包括構(gòu)建產(chǎn)品生命周期曲線預(yù)測模型并基于相關(guān)產(chǎn)品展開數(shù)據(jù)實證研究，同時對實證結(jié)果進行有效的業(yè)務(wù)解釋并形成合理的政策建議。需求時間計劃： 根據(jù)省公司的統(tǒng)一規(guī)劃安排。24 *新產(chǎn)品生命周期分析需求名稱： 新產(chǎn)品生命周期分析 提出時間： 202302