【正文】 的文件中 (sring, ndarray, fmt, newline=39。\n39。) 將 ndarray寫入文件，格式為 fmt (string) 讀取文件名 string的文件內(nèi)容并轉(zhuǎn)化為 ndarray對象（或字典對象） (string, delimiter) 讀取文件名 string的文件內(nèi)容，以 delimiter為分隔符轉(zhuǎn)化為ndarray Pandas庫介縐 ? pandas 是基于 NumPy 的一種工具，該工具是為了解決數(shù)據(jù)分析仸務(wù)而創(chuàng)建的。 Pandas 納入了大量庫和一些標準的數(shù)據(jù)模型，提供了高效地操作大型數(shù)據(jù)集所需的工具。 pandas提供了大量能使我們快速便捷地處理數(shù)據(jù)的函數(shù)和方法。 ? 使用方法 – from pandas import Series, DataFrame – import pandas as pd Series常用函數(shù) 函數(shù) 說明 Series([x,y,...])Series({39。a39。:x,39。b39。:y,...}, index=param1) 生成一個 Series () 復制一個 Series ([x,y,...], fill_value=NaN) ([x,y,...], method=NaN) (columns=[x,y,...]) 重返回一個適應新索引的新對象，將缺失值填充為 fill_value 返回適應新索引的新對象，填充方式為 method 對列進行重新索引 (index) 丟棄指定項 (f) 應用元素級函數(shù) 排序函數(shù) 說明 (ascending=True) 根據(jù)索引返回已排序的新對象 (ascending=True) 根據(jù)值返回已排序的對象， NaN值在末尾 (method=39。average39。, ascending=True, axis=0) 為各組分配一個平均排名 () () 返回含有最大值的索引位置 返回含有最小值的索引位置 DataFrame常用函數(shù) 函數(shù) 說明 DataFrame(dict, columns=, index=[]) DataFrame(二維 ndarray) DataFrame(由數(shù)組、列表或元組組成的字典 ) DataFrame(NumPy的結(jié)構(gòu)化 /記錄數(shù)組 ) DataFrame(由 Series組成的字典 ) DataFrame(由字典組成的字典 ) DataFrame(字典或 Series的列表 ) DataFrame(由列表或元組組成的列表 ) DataFrame(DataFrame) DataFrame(NumPy的 MaskedArray) 構(gòu)建 DataFrame 數(shù)據(jù)矩陣，還可以傳入行標和列標 每個序列會變成 DataFrame的一列。所有序列的長度必須相同 類似于“由數(shù)組組成的字典” 每個 Series會成為一列。如果沒有顯式制定索引，則各 Series的索引會被合并成結(jié)果的行索引 各內(nèi)層字典會成為一列。鍵會被合并成結(jié)果的行索引。 各項將會成為 DataFrame的一行。索引的并集會成為DataFrame的列標。 類似于二維 ndarray 沿用 DataFrame 類似于二維 ndarray，但掩碼結(jié)果會變成 NA/缺失值 ([x,y,...], fill_value=NaN, limit) ([x,y,...], method=NaN) ([x,y,...], columns=[x,y,...],copy=True) 返回一個適應新索引的新對象，將缺失值填充為 fill_value，最大填充量為 limit 返回適應新索引的新對象，填充方式為 method 同時對行和列進行重新索引，默認復制新對象。 (index, axis=0) 丟棄指定軸上的指定項。 匯總統(tǒng)計函數(shù) 說明 () 非 NaN的數(shù)量 () 一次性產(chǎn)生多個匯總統(tǒng)計 () () 最小值 最大值 (axis=0, skipna=True) (axis=0, skipna=True) 返回含有最大值的 index的 Series 返回含有最小值的 index的 Series (axis=0) 計算樣本的分位數(shù) (axis=0, skipna=True, level=NaN) (axis=0, skipna=True, level=NaN) (axis=0, skipna=True, level=NaN) (axis=0, skipna=True, level=NaN) (axis=0, skipna=True, level=NaN) (axis=0, skipna=True, level=NaN) (axis=0, skipna=True, level=NaN) (axis=0, skipna=True, level=NaN) (axis=0, skipna=True, level=NaN) (axis=0, skipna=True, level=NaN) (axis=0, skipna=True, level=NaN) (axis=0, skipna=True, level=NaN) (axis=0) (axis=0) 返回一個含有求和小計的 Series 返回一個含有平均值的 Series 返回一個含有算術(shù)中位數(shù)的 Series 返回一個根據(jù)平均值計算平均絕對離差的 Series 返回一個方差的 Series 返回一個標準差的 Series 返回樣本值的偏度（三階距） 返回樣本值的峰度（四階距） 返回樣本的累計和 返回樣本的累計最大值 返回樣本的累計最小值 返回樣本的累計積 返回樣本的一階差分 返回樣本的百分比數(shù)變化 排序函數(shù) 說明 (axis=0, ascending=True) (by=[a,b,...]) 根據(jù)索引排序 計算函數(shù) 說明 (df2, fill_value=NaN, axist=1) (df2, fill_value=NaN, axist=1) (df2, fill_value=NaN, axist=1) (df2, fill_value=NaN, axist=1) 元素級相加，對齊時找不到元素默認用 fill_value 元素級相減，對齊時找不到元素默認用 fill_value 元素級相除，對齊時找不到元素默認用 fill_value 元素級相乘，對齊時找不到元素默認用 fill_value (f, axis=0) 將 f函數(shù)應用到由各行各列所形成的一維數(shù)組上 (f) 將 f函數(shù)應用到各個元素上 (axis=0, skipna=True) 累加，返回累加后的 dataframe ? 分析步驟 – 定義數(shù)據(jù)分析目標： 明確挖掘數(shù)據(jù)的目標和達到的效果。 – 數(shù)據(jù)取樣： 采集目標相關(guān)樣本數(shù)據(jù)子集，確保數(shù)據(jù)的相關(guān)性、可靠性、有效性。 – 數(shù)據(jù)探索： 對樣本數(shù)據(jù)探索、審核、加工處理，保證樣本數(shù)據(jù)的質(zhì)量。 – 數(shù)據(jù)預處理： 改善數(shù)據(jù)質(zhì)量，包括數(shù)據(jù)篩選、數(shù)據(jù)變量轉(zhuǎn)換、缺失值數(shù)據(jù)處理等。 – 挖掘建模： 確定分析問題類型（分類，聚類、關(guān)聯(lián)等），選擇相應算法構(gòu)建模型。 – 模型評價： 從建立模型中找到一個最好的模型，幵應用到實際業(yè)務(wù)中。 利用 python迕行數(shù)據(jù)分析 數(shù)據(jù)探索 ?數(shù)據(jù)質(zhì)量分析 主要仸務(wù)是檢查原始數(shù)據(jù)中是否存在臟數(shù)據(jù)，即丌符合要求，丌能直接處理的數(shù)據(jù)，包括 缺失值分析、異常值分析、一致性分析 。 ? 數(shù)據(jù)特征分析 – 分布分析： 揭示數(shù)據(jù)的分布特征和分布類型，通過繪制頻率分布表、莖葉圖等直觀分析 – 對比分析： 把兩個相互聯(lián)系的指標迕行比較，從數(shù)量上展示和說明研究對象觃模的大小， 水平的高低，速度的快慢，以及各種關(guān)系是否協(xié)調(diào)。 – 統(tǒng)計量分析： 用統(tǒng)計量指標對定量數(shù)據(jù)迕行統(tǒng)計描述，常從集中趨勢和離中趨勢兩個方面 迕行分析。 – 相關(guān)性分析： 分析連續(xù)變量乊間線性相關(guān)秳度的強弱，幵用適當?shù)慕y(tǒng)計指標表示出來。 數(shù)據(jù)預處理 ? 數(shù)據(jù)清洗 – 刪除原始數(shù)據(jù)集中的無關(guān)數(shù)據(jù)、重復數(shù)據(jù)、平滑噪聲數(shù)據(jù)、無關(guān)數(shù)據(jù)，處理缺失值和異常值。 ? 數(shù)據(jù)集成 – 將多個數(shù)據(jù)源合幵存放在一個一致的數(shù)據(jù)存儲（如數(shù)據(jù)倉庫）中的過秳。 ? 數(shù)據(jù)變換 – 主要是對數(shù)據(jù)迕行觃范化處理，將數(shù)據(jù)轉(zhuǎn)換成適當?shù)男问剑赃m用于挖掘仸務(wù)和算法的需要。 ? 數(shù)據(jù)觃約 – 產(chǎn)生更小但保持數(shù)據(jù)完整性的新數(shù)據(jù)集，在觃約后的數(shù)據(jù)集上迕行分析和挖掘更有效率。 Python主要數(shù)