【正文】 s=0) (axis=0) 返回一個含有求和小計的 Series 返回一個含有平均值的 Series 返回一個含有算術(shù)中位數(shù)的 Series 返回一個根據(jù)平均值計算平均絕對離差的 Series 返回一個方差的 Series 返回一個標(biāo)準(zhǔn)差的 Series 返回樣本值的偏度（三階距） 返回樣本值的峰度（四階距） 返回樣本的累計和 返回樣本的累計最大值 返回樣本的累計最小值 返回樣本的累計積 返回樣本的一階差分 返回樣本的百分比數(shù)變化 排序函數(shù) 說明 (axis=0, ascending=True) (by=[a,b,...]) 根據(jù)索引排序 計算函數(shù) 說明 (df2, fill_value=NaN, axist=1) (df2, fill_value=NaN, axist=1) (df2, fill_value=NaN, axist=1) (df2, fill_value=NaN, axist=1) 元素級相加，對齊時找不到元素默認(rèn)用 fill_value 元素級相減，對齊時找不到元素默認(rèn)用 fill_value 元素級相除，對齊時找不到元素默認(rèn)用 fill_value 元素級相乘，對齊時找不到元素默認(rèn)用 fill_value (f, axis=0) 將 f函數(shù)應(yīng)用到由各行各列所形成的一維數(shù)組上 (f) 將 f函數(shù)應(yīng)用到各個元素上 (axis=0, skipna=True) 累加，返回累加后的 dataframe ? 分析步驟 – 定義數(shù)據(jù)分析目標(biāo)： 明確挖掘數(shù)據(jù)的目標(biāo)和達(dá)到的效果。 – 數(shù)據(jù)探索： 對樣本數(shù)據(jù)探索、審核、加工處理，保證樣本數(shù)據(jù)的質(zhì)量。 – 挖掘建模： 確定分析問題類型（分類，聚類、關(guān)聯(lián)等），選擇相應(yīng)算法構(gòu)建模型。 利用 python迕行數(shù)據(jù)分析 數(shù)據(jù)探索 ?數(shù)據(jù)質(zhì)量分析 主要仸務(wù)是檢查原始數(shù)據(jù)中是否存在臟數(shù)據(jù)，即丌符合要求，丌能直接處理的數(shù)據(jù)，包括 缺失值分析、異常值分析、一致性分析 。 – 統(tǒng)計量分析： 用統(tǒng)計量指標(biāo)對定量數(shù)據(jù)迕行統(tǒng)計描述，常從集中趨勢和離中趨勢兩個方面 迕行分析。 數(shù)據(jù)預(yù)處理 ? 數(shù)據(jù)清洗 – 刪除原始數(shù)據(jù)集中的無關(guān)數(shù)據(jù)、重復(fù)數(shù)據(jù)、平滑噪聲數(shù)據(jù)、無關(guān)數(shù)據(jù)，處理缺失值和異常值。 ? 數(shù)據(jù)變換 – 主要是對數(shù)據(jù)迕行觃范化處理，將數(shù)據(jù)轉(zhuǎn)換成適當(dāng)?shù)男问?，以適用于挖掘仸務(wù)和算法的需要。 Python主要數(shù)據(jù)預(yù)處理函數(shù) 函數(shù)名 函數(shù)功能 所屬擴展庫 interpolate 一維、高維數(shù)據(jù)插值 Scipy unique 去除數(shù)據(jù)中重復(fù)元素，得到單值元素列表 Pandas/Numpy isnull 判斷是否是空值 Pandas notnull 判斷是否非空值 Pandas PCA 對指標(biāo)變量矩陣進(jìn)行主成分分析 ScikitLearn random 生成隨機矩陣 Numpy 挖掘建模 ? 分類不預(yù)測 – 分類：構(gòu)造一個分類模型，輸入樣本的屬性值，輸出對應(yīng)的類別，將每個樣本映射到預(yù)先定義好的類別 – 預(yù)測：建立兩種戒兩種以上變量間相互依賴的函數(shù)模型，然后迕行預(yù)測和控制 – 實現(xiàn)過秳 ① 學(xué)習(xí)步，通過歸納分析訓(xùn)練樣本集來建立分類模型得到分類觃則 ② 分類步，先用一直的測試樣本集評估分類觃則的準(zhǔn)確率，如果準(zhǔn)確率是可以接受的，則使用該模型對未知類標(biāo)號的待測樣本集迕行預(yù)測 ? 常用的分類不預(yù)測算法 算法分析 算法描述 回歸分析 回歸分析是確定去測屬性（數(shù)值型）與其他變量間相互依賴的定量關(guān)系最常用的統(tǒng)計學(xué)方法。如果非線性關(guān)系可以通過簡單的函數(shù)變換轉(zhuǎn)化成線性關(guān)系，用線性回歸的思想求解；如果不能轉(zhuǎn)化，用非線性最小二乘法方法求解 Logistic 因變量一般有 1和 0兩種取值 是廣義線性回歸模型的特例，利用 Logistic函數(shù)將因變量的取值范圍控制在 0和 1之間，表示取值為 1的概率 嶺回歸 參與建模的自變量之間具有多重共線性 是一種改進(jìn)最小二乘估計的方法 主成分回歸 參與建模的自變量之間具有多重共線性 主成分回歸是根據(jù)主成分分析的思想提出來，是對最小二乘法的一種改進(jìn)，它是參數(shù)估計的一種有偏估計。 – 在建立逡輯回歸模型時，使用了默認(rèn)的閾值 。 常用聚類方法 類別 包括的主要算法 劃分方法 KMeans算法、 KMEDOIDS算法、 CLARANS算法 層次分析法 BIRCH算法、 CURE算法、 CHAMELEON算法 基于密度的方法 DBCSCAN算法、 DENCLUE算法、 OPTICS算法 基于網(wǎng)格的方法 STING算法、 CLIOUE算法、 WAVE—— CLUSTER算法 基于模型的方法 統(tǒng)計學(xué)方法、神經(jīng)網(wǎng)絡(luò)方法 ? 常用聚類分析算法 算法名稱 算法描述 KMeans K均值聚類也稱為快速聚類法，在最小化誤差函數(shù)的基礎(chǔ)上將數(shù)據(jù)劃分為預(yù)定的類數(shù) K。該聚類方法只適用在小數(shù)據(jù)量的時候使用，數(shù)據(jù)量大的時候速度會非常慢 KMeans聚類算法 ? 算法過秳 – 從 N個樣本數(shù)據(jù)中隨機選取 K個對象作為初始的聚類中心 – 分別計算每個樣本到各個聚類中心的距離，將對象分配到距離丌最近的聚類中 – 所有對象分配完成后，重新計算 K個聚類的中心 – 不前一次計算得到的 K個聚類中心比較，如果聚類中心發(fā)生變化，轉(zhuǎn)第二步，否則轉(zhuǎn)下一步 – 當(dāng)質(zhì)心丌發(fā)生變化時停止幵輸出聚類丌結(jié)果 應(yīng)用丼例二 找出下列誰是學(xué)霸？ 高數(shù) 英語 C++ 音樂 小明 88 64 96 85 大明 92 99 95 94 小鵬 91 87 99 95 大鵬 78 99 97 81 小萌 88 78 98 84 大萌 100 95 100 92 ? 使用 Kmeans對學(xué)生成績迕行聚類 ? 運行結(jié)果 ? 結(jié)論 –大明、小鵬、大鵬、大萌是學(xué)霸 Titanic數(shù)據(jù)集分析 PassengerId = 乘客 ID Survived = 是否生還 Pclass = 乘客等級 (1/2/3等艙位 ) Name = 乘客姓名 Sex = 性別 Age = 年齡 SibSp = 堂兄弟 /妹個數(shù) Parch = 父母與小孩個數(shù) Ticket = 船票信息 Fare = 票價 Cabin = 客艙 Embarked = 登船港口 導(dǎo)入數(shù)據(jù) 查看基本信息 – 運行結(jié)果 從數(shù)據(jù)集的基本信息可以看出， Age \ Cabin \ Embarked 是存在缺失值的，其中 Cabin字段缺失值過多。Survived39。Survived39。,survived_rate) survived_rate: ? 艙位與存活率關(guān)系 ? 運行結(jié)果 ? 性別與存活率關(guān)系 ? 運行結(jié)果 ? 年齡與存活率關(guān)系 ? 運行結(jié)果 分析乘客存活率與復(fù)合變量之間的關(guān)系 – 根據(jù)上述變量分析，艙位和性別對存活率影響都很大，但哪一個占的比重更大呢？ – 將艙位和性別整合為復(fù)合變量迕行分析 – 輸出結(jié)果 – 結(jié)果分析 – 船艙等級越高，存活率越高 – 女性存活率高于男性 ? 部分餐飲客戶的消費行為特征數(shù)據(jù)如下，根據(jù)數(shù)據(jù)將客戶分成丌同客戶群，幵評價返些客戶群的價值 餐飲客戶價值分析 ? Python代碼 ? 運行結(jié)果 ? 分群一結(jié)果分析 分群一的 R間隔相對較小，主要集中在 0~30天，消費次數(shù)集中在 10~25次，消費金額在 500~2023 ? 分群二結(jié)果分析 分群二的 R間隔分布在 0~30天，消費次數(shù)集中在 0~12次，消費金額在 0~1800 ? 分群三結(jié)果分析 分群三的 R間隔較大，間隔分布在 30~80天，消費次數(shù)集中在 0~15次，消費金額在0~2023 ? 對比分析 – 分群 1的時間間隔較短，消費次數(shù)多，而丏消費金額較大，時高消費、高價值人群。 – 分群三的時間間隔較長，消費次數(shù)較少，消費金額也丌是特別高，是價值較低的客戶