數(shù)據(jù)挖掘概念與技術(shù) chapter2-了解數(shù)據(jù)-文庫(kù)吧
2025-03-07 07:50 本頁(yè)面
【正文】 ? 代數(shù)度量 algebraic measure ? 可用一個(gè)函數(shù)于一個(gè)或多個(gè)分布度量計(jì)算的度量 ? 整體度量 holistic measure ? 必須對(duì)整個(gè)數(shù)據(jù)集計(jì)算的度量 13 度量數(shù)據(jù)的中心趨勢(shì) ? 均值 (代數(shù)度量 ) (樣本 vs. 總體 ): Note: n 樣本大小， N 總體大小 . ? 加權(quán)算術(shù)均值 : ? 截?cái)嗑?: 去掉高低極端值 ? 中位數(shù) : ? 奇數(shù)則為有序集的中間值 , 否則為中間兩個(gè)數(shù)的平均 ? (基于分組數(shù)據(jù) )可以插值估計(jì) ? 眾數(shù) Mode ? 出現(xiàn)頻率最高的值 (不惟一 /每個(gè)值出現(xiàn)一次則沒(méi)有 ) ? 1/2/3個(gè)眾數(shù) 〉 單峰的 , 雙峰的 , 三峰的 ? Empirical formula: ???niixnx11?????niiniiiwxwx11wi d thf r e q f r e qnLm e d i a nm e d i a ns m a l l ))(2/(1????)(3 m e di a nm e anm odem e an ????Nx???14 2022年 4月 12日星期二 Data Mining: Concepts and Techniques 14 對(duì)稱 /偏斜數(shù)據(jù) ? 中位數(shù) , 均值 , 眾數(shù)：對(duì)稱 , 正傾斜和負(fù)傾斜數(shù)據(jù) positively skewed negatively skewed symmetric 15 度量數(shù)據(jù)的離散度 ? 四分位數(shù) Quartiles, 離群點(diǎn) outliers ，盒圖 boxplots ? 四分位數(shù) : Q1 (25th 百分位數(shù) percentile), Q3 (75th percentile) ? 中間四分位數(shù)極差 Interquartile range: IQR = Q3 – Q1 ? 五數(shù)概括 : min, Q1, median, Q3, max ? 盒圖 : 盒兩端為四分位數(shù) 。 中位數(shù)標(biāo)記 。 添加胡須 , 離群點(diǎn)獨(dú)立標(biāo)出 ? 離群點(diǎn) : 通常是值高 /低于四分位數(shù) x IQR ? 方差 /標(biāo)準(zhǔn)差 (樣本 : s, 總體 : σ) ? Variance: (代數(shù)度量 , 可伸縮計(jì)算 ) ? Standard deviation s (or σ) 方差的平方根 s2 (or σ2) ? ??? ???????? niniiinii xnxnxxns1 122122 ])(1[11)(11 ?? ?? ????ni ini ixNxN122122 1)(1 ???16 盒圖分析 ? 五數(shù)概括 ? 最小值 , Q1, 中位數(shù) Median, Q3, 最大值 ? Boxplot ? 使用盒子表示數(shù)據(jù) ? 盒子兩端是第 1/3四分位數(shù) , 即盒子高度為四分位數(shù)極差 IQR ? 盒內(nèi)的線表示中位數(shù) ? 胡須 : 不超過(guò)四分位數(shù) x IQR 的最大/小數(shù)據(jù)點(diǎn) ? 離群點(diǎn) Outliers: 單獨(dú)繪出滿足某個(gè)離群點(diǎn)閾條件的離群點(diǎn) 17 可視化數(shù)據(jù)的離散度 : 3D Boxplots 18 正態(tài)分布曲線的性質(zhì) ? 正態(tài)分布曲線 ? [μ–σ, μ+σ]:含有約 68％的測(cè)量 (μ: 均值 , σ: 標(biāo)準(zhǔn)差 ) ? [μ–2σ, μ+2σ]: contains about 95% of it ? [μ–3σ, μ+3σ]: contains about % of it 19 基本統(tǒng)計(jì)說(shuō)明 de圖形顯示 ? Boxplot: 五數(shù)概括的圖形 ? Histogram直方圖 :值 xaxis, yaxis表示頻率 ? Quantile plot分位數(shù)圖 : 值 xi 與 fi (表明近似 100 fi % 的數(shù)據(jù) ? xi )成對(duì) ? Quantilequantile (qq) plot: 對(duì)著另一個(gè)分位數(shù)，繪制一個(gè)單變量分布的分位數(shù) ? Scatter plot散布圖 : 每個(gè)值對(duì) 為一個(gè)坐標(biāo)點(diǎn)繪于平面上 20 直方圖分析 ? Histogram:圖形顯示每個(gè)列值的頻率，條形圖所示 ? 顯示有多大比例的點(diǎn)下落入每個(gè)類別 ? 類別并不是均勻的寬度時(shí)有別于條形圖一個(gè)關(guān)鍵：條形圖的面積表示值而不是條形圖的高度 ? a bar chart柱狀圖 /柱形圖 ? 類別通常指定為變量的一些非重疊區(qū)間。類別（帶）必須相鄰 051015202530354010000 30000 50000 70000 9000021 Histograms Often Tell More than Boxplots ? 兩個(gè)直方圖顯示在左邊有同樣的boxplot表示 ? 相同的值 : min, Q1, median, Q3, max ? 他們擁有的是不同的數(shù)據(jù)分布 ? But they have rather different data distributions 22 Data Mining: Concepts and Techniques 分位數(shù)圖 Quantile Plot ? 顯示所有數(shù)據(jù) (允許用戶評(píng)估全部行為和不尋常的事件 ) ? Plots quantile information ? 對(duì)于升序中的值點(diǎn) xi ， fi 表明近似 100 fi % 的數(shù)據(jù) ? xi ； 成對(duì)繪制 (xi ， fi ) 23 分位數(shù) 分位數(shù)圖 (圖 ) ? 對(duì)著另一個(gè)分位數(shù)，繪制一個(gè)單變量分布的分位數(shù) ? 觀察 :正從一種分布到另一個(gè)種是否有偏移 ? ? 例子表示 分店 1出售的物品單價(jià) vs. 分店 2 的每個(gè)分位數(shù) .分店 1出售的物品單價(jià) 傾向于低于分店 2. 24 散布圖 Scatter plot ? 提供雙變量的數(shù)據(jù)的第一印象：點(diǎn)的聚集，離群點(diǎn) , 等 ? 每個(gè)值對(duì)作為一個(gè)坐標(biāo)點(diǎn)繪于平面上 25 正 /負(fù) 相關(guān)數(shù)據(jù) ? The left half fragment is positively correlated ? The right half is negative correlated 26 不相關(guān)的數(shù)據(jù) 27 散布圖的例子 28 Chapter 2: 了解數(shù)據(jù) ? 數(shù)據(jù)對(duì)象和屬性類型 Data Objects and Attribute Types ? 數(shù)據(jù)的 (基本 )統(tǒng)計(jì)描述 Basic Statistical Descriptions of Data ? 數(shù)據(jù)可視化 Data Visualization ? 測(cè)量數(shù)據(jù)相似性和相異性 Measuring Data Similarity and Dissimilarity ? 總結(jié) Summary 29 數(shù)據(jù)可視化 ? Why data visualization? ? 把數(shù)據(jù)映射到圖形信息空間中獲取視角 ? 提供 定性的概述 (大數(shù)據(jù)集的 ) ? 在數(shù)據(jù)中搜尋 模式 , 趨勢(shì) , 結(jié)構(gòu) ,不規(guī)則 , 關(guān)聯(lián) ? 為進(jìn)一步的量化分析發(fā)現(xiàn) 有意義的區(qū)域及合時(shí)的參數(shù) ? 為衍生的計(jì)算機(jī)表示提供 一個(gè)視覺(jué)證據(jù) ? 可視化方法的分類 : ? 基于像素的可視化技術(shù) Pixeloriented visualization ? 幾何投影可視化技術(shù) Geometric projection ? 基于圖標(biāo)的可視化技術(shù) Iconbased visualization ? 分層可視化技術(shù) Hierarchical visualization ? 可視化復(fù)雜數(shù)據(jù)和關(guān)系 30 基于像素的可視化技術(shù) ? 對(duì)一個(gè)維度 m的數(shù)據(jù)，在屏幕上產(chǎn)生 m個(gè)窗口 ,每個(gè)維度一個(gè)
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號(hào)-1