yhon數(shù)據(jù)分析過程示例-預(yù)覽頁
【正文】 你可以直接從項目網(wǎng)站下載Python，然后單獨安裝你想要的組件和庫第二種方法提供了一個避免麻煩的安裝，因此我會推薦給初學者。選擇開發(fā)環(huán)境 IDLE(默認環(huán)境)我們在整個教程中將使用Ipython 環(huán)境熱身：跑第一個Python程序 界面顯示In[*]代表輸入和Out[*]代表輸出。 在我們深入挖掘如何解決問題之前，讓我們退后一步，了解Python的基本知識。 以下是Python中使用的一些數(shù)據(jù)結(jié)構(gòu)。列表可以這樣簡單的定義：就是在方括號中一系列用逗號來分隔的值。 這里是一個快速的例子，定義了一個列表，然后訪問它：請注意，Python中的字符串是不可變的，所以你不能改變字符串的部分。此外，盡管元組是不可變的，但它們可以在必要是含有可變數(shù)據(jù)。 和大多數(shù)語言一樣，Python也有一個FOR循環(huán)，這是最廣泛使用的迭代方法。 既然你熟悉了Python的基礎(chǔ)，我們來更近一步。例如，考慮我們剛才看到的因子的例子。Python庫 在第一種方式中，我們已經(jīng)為math庫定義了一個別名m。提示：谷歌推薦您使用第一種方式導入庫，因為您將知道函數(shù)來自何處。NumPy最強大的功能是n維數(shù)組。SciPy是基于NumPy的。你可以在IPython notebook中使用PyLab（IPython notebook–PyLab = inline）以此使用這些繪圖功能的inline。 Pandas對于結(jié)構(gòu)化數(shù)據(jù)操作和控制。 Scikit Learn機器學習庫。statsmodels是一個Python模塊，允許用戶探索數(shù)據(jù)，估計統(tǒng)計模型，并進行統(tǒng)計檢驗。 Seaborn用于統(tǒng)計數(shù)據(jù)的可視化。 Blaze擴展NumPy和Pandas的分布式和流媒體數(shù)據(jù)集。它是用于獲取特定數(shù)據(jù)模式的一個非常有用的框架。它具有廣泛的功能，從基本的符號運算到微積分，代數(shù)，離散數(shù)學和量子物理學。它的工作原理類似于Python標準庫urllib2，但是更容易編碼。 os 用于操作系統(tǒng)和文件操作它不如Scrapy，它一次運行將從一個單一的網(wǎng)頁中提取信息。我們將帶你通過這3個關(guān)鍵階段：1. 數(shù)據(jù)探索—從我們所擁有的數(shù)據(jù)中發(fā)現(xiàn)更多2. 數(shù)據(jù)修改—清理數(shù)據(jù)和并修改它使它更適合用來統(tǒng)計建模3. 預(yù)測建?！\行的實際算法，自得其樂 您可以從這里下載數(shù)據(jù)集。此外，你將能夠繪制您的數(shù)據(jù)內(nèi)聯(lián)，這對于互動的數(shù)據(jù)分析是一個非常好的環(huán)境。 matplotlib 這應(yīng)該打印10行。 describe()功能將提供計數(shù)、平均、標準差（STD），最小值，分位數(shù)值和最大值（讀這篇文章來更新基本統(tǒng)計數(shù)據(jù)了解人口分布）注意，dfname [ column_name ]是一個基本的索引技術(shù)，來訪問一個數(shù)據(jù)框的特定的列。 現(xiàn)在我們熟悉了基本的數(shù)據(jù)特征，讓我們研究不同變量的分布情況。這也是分箱值為50的原因，就是為了清楚地描述它的分布。 這證實了大量的離群值/極值的存在。 我們可以看到，研究生和非畢業(yè)生的平均收入之間沒有實質(zhì)性的區(qū)別。 再次，有一些異常的值。分類變量的分析這可以在微軟的Excel上使用一個透視表實現(xiàn)：請參考這篇文章，以使用Pandas獲得不同的數(shù)據(jù)操縱技術(shù)。 現(xiàn)在我們可以觀察到，我們得到一個像微軟的 Excel的pivot_table。你可以在AV Datahacks上很快的編寫代碼來創(chuàng)建首次提交。對于那些一直跟下來的人來說，這時你必須穿上鞋才能開始跑。這個練習通常被稱為“數(shù)據(jù)修改”。雖然他們可能有直觀的感覺，但應(yīng)適當處理。 如果你是Pandas的新手，我建議在繼續(xù)前進之前閱讀這篇文章。所以，讓我們看看數(shù)據(jù)集中空值/NAN值的數(shù)量：通過這篇文章對不同的插值技術(shù)進行詳細了解。所以我們應(yīng)該檢查那些不切實際的值。 既然，現(xiàn)在的目標是講述數(shù)據(jù)修改的步驟，我寧愿采取一種方法，它介于這2個極端方法之間。 因此我們看到在每一組中貸款金額的中位數(shù)的一些變化而這可以用來估計值。讓我們看看頻率表：接下來，我們定義了一個函數(shù)，它返回這些單元格的值，并應(yīng)用它來填充丟失的貸款金額的值：由于極端值可能是現(xiàn)實的的，即一些人可能會由于特定的需求，申請高額的貸款。例如，創(chuàng)建一個LoanAmount/TotalIne列可能會有意義，因為它能給你一個關(guān)于申請人如何償還他的貸款的好想法。 之后，我們已經(jīng)使數(shù)據(jù)可以用于建模，現(xiàn)在讓我們來看看Python代碼，來在我們的數(shù)據(jù)集上創(chuàng)建一個預(yù)測模型。 因為，sklearn要求所有輸入都是數(shù)字，我們應(yīng)該通過編碼類別將我們所有的分類變量轉(zhuǎn)換為數(shù)值型。由于這是一篇介紹性文章，我將不會進入編碼的細節(jié)。 讓我們做我們的第一個邏輯回歸模型。 交叉驗證得分：%credit_history主導模式。讓我們探索這個下一個。讓我們嘗試一些數(shù)值變量：但這是模型對數(shù)據(jù)過擬合的結(jié)果。 在這里，我們看到的準確性是100%的訓練集。讓我們使用前5個變量來創(chuàng)建一個模型。 準確度：%交叉驗證得分：%但輸出應(yīng)該呆在球場。2. 避免使用復(fù)雜的建模技術(shù)作為一個黑盒子，不了解底層的概念。 所以你準備好接受挑戰(zhàn)了嗎？用貸款預(yù)測問題開始你的數(shù)據(jù)科學之旅。 如果在實踐Python的時候，你遇到任何困難，或者你有什么想法/建議/反饋，請通過下面的評論請我提出 THANKS !!!致力為企業(yè)和個人提供合同協(xié)議，策劃案計劃書，學習課件等等打造全網(wǎng)一站式需求歡迎您的下載，資料僅供參考可修改
環(huán)評公示相關(guān)推薦
鄂ICP備17016276號-1