yhon數(shù)據(jù)分析過程示例-預(yù)覽頁
【正文】 你可以直接從項(xiàng)目網(wǎng)站下載Python，然后單獨(dú)安裝你想要的組件和庫第二種方法提供了一個(gè)避免麻煩的安裝，因此我會(huì)推薦給初學(xué)者。選擇開發(fā)環(huán)境 IDLE(默認(rèn)環(huán)境)我們?cè)谡麄€(gè)教程中將使用Ipython 環(huán)境熱身：跑第一個(gè)Python程序 界面顯示In[*]代表輸入和Out[*]代表輸出。 在我們深入挖掘如何解決問題之前，讓我們退后一步，了解Python的基本知識(shí)。 以下是Python中使用的一些數(shù)據(jù)結(jié)構(gòu)。列表可以這樣簡(jiǎn)單的定義：就是在方括號(hào)中一系列用逗號(hào)來分隔的值。 這里是一個(gè)快速的例子，定義了一個(gè)列表，然后訪問它：請(qǐng)注意，Python中的字符串是不可變的，所以你不能改變字符串的部分。此外，盡管元組是不可變的，但它們可以在必要是含有可變數(shù)據(jù)。 和大多數(shù)語言一樣，Python也有一個(gè)FOR循環(huán)，這是最廣泛使用的迭代方法。 既然你熟悉了Python的基礎(chǔ)，我們來更近一步。例如，考慮我們剛才看到的因子的例子。Python庫 在第一種方式中，我們已經(jīng)為math庫定義了一個(gè)別名m。提示：谷歌推薦您使用第一種方式導(dǎo)入庫，因?yàn)槟鷮⒅篮瘮?shù)來自何處。NumPy最強(qiáng)大的功能是n維數(shù)組。SciPy是基于NumPy的。你可以在IPython notebook中使用PyLab（IPython notebook–PyLab = inline）以此使用這些繪圖功能的inline。 Pandas對(duì)于結(jié)構(gòu)化數(shù)據(jù)操作和控制。 Scikit Learn機(jī)器學(xué)習(xí)庫。statsmodels是一個(gè)Python模塊，允許用戶探索數(shù)據(jù)，估計(jì)統(tǒng)計(jì)模型，并進(jìn)行統(tǒng)計(jì)檢驗(yàn)。 Seaborn用于統(tǒng)計(jì)數(shù)據(jù)的可視化。 Blaze擴(kuò)展NumPy和Pandas的分布式和流媒體數(shù)據(jù)集。它是用于獲取特定數(shù)據(jù)模式的一個(gè)非常有用的框架。它具有廣泛的功能，從基本的符號(hào)運(yùn)算到微積分，代數(shù)，離散數(shù)學(xué)和量子物理學(xué)。它的工作原理類似于Python標(biāo)準(zhǔn)庫urllib2，但是更容易編碼。 os 用于操作系統(tǒng)和文件操作它不如Scrapy，它一次運(yùn)行將從一個(gè)單一的網(wǎng)頁中提取信息。我們將帶你通過這3個(gè)關(guān)鍵階段：1. 數(shù)據(jù)探索—從我們所擁有的數(shù)據(jù)中發(fā)現(xiàn)更多2. 數(shù)據(jù)修改—清理數(shù)據(jù)和并修改它使它更適合用來統(tǒng)計(jì)建模3. 預(yù)測(cè)建模—運(yùn)行的實(shí)際算法，自得其樂 您可以從這里下載數(shù)據(jù)集。此外，你將能夠繪制您的數(shù)據(jù)內(nèi)聯(lián)，這對(duì)于互動(dòng)的數(shù)據(jù)分析是一個(gè)非常好的環(huán)境。 matplotlib 這應(yīng)該打印10行。 describe()功能將提供計(jì)數(shù)、平均、標(biāo)準(zhǔn)差（STD），最小值，分位數(shù)值和最大值（讀這篇文章來更新基本統(tǒng)計(jì)數(shù)據(jù)了解人口分布）注意，dfname [ column_name ]是一個(gè)基本的索引技術(shù)，來訪問一個(gè)數(shù)據(jù)框的特定的列。 現(xiàn)在我們熟悉了基本的數(shù)據(jù)特征，讓我們研究不同變量的分布情況。這也是分箱值為50的原因，就是為了清楚地描述它的分布。 這證實(shí)了大量的離群值/極值的存在。 我們可以看到，研究生和非畢業(yè)生的平均收入之間沒有實(shí)質(zhì)性的區(qū)別。 再次，有一些異常的值。分類變量的分析這可以在微軟的Excel上使用一個(gè)透視表實(shí)現(xiàn)：請(qǐng)參考這篇文章，以使用Pandas獲得不同的數(shù)據(jù)操縱技術(shù)。 現(xiàn)在我們可以觀察到，我們得到一個(gè)像微軟的 Excel的pivot_table。你可以在AV Datahacks上很快的編寫代碼來創(chuàng)建首次提交。對(duì)于那些一直跟下來的人來說，這時(shí)你必須穿上鞋才能開始跑。這個(gè)練習(xí)通常被稱為“數(shù)據(jù)修改”。雖然他們可能有直觀的感覺，但應(yīng)適當(dāng)處理。 如果你是Pandas的新手，我建議在繼續(xù)前進(jìn)之前閱讀這篇文章。所以，讓我們看看數(shù)據(jù)集中空值/NAN值的數(shù)量：通過這篇文章對(duì)不同的插值技術(shù)進(jìn)行詳細(xì)了解。所以我們應(yīng)該檢查那些不切實(shí)際的值。 既然，現(xiàn)在的目標(biāo)是講述數(shù)據(jù)修改的步驟，我寧愿采取一種方法，它介于這2個(gè)極端方法之間。 因此我們看到在每一組中貸款金額的中位數(shù)的一些變化而這可以用來估計(jì)值。讓我們看看頻率表：接下來，我們定義了一個(gè)函數(shù)，它返回這些單元格的值，并應(yīng)用它來填充丟失的貸款金額的值：由于極端值可能是現(xiàn)實(shí)的的，即一些人可能會(huì)由于特定的需求，申請(qǐng)高額的貸款。例如，創(chuàng)建一個(gè)LoanAmount/TotalIne列可能會(huì)有意義，因?yàn)樗芙o你一個(gè)關(guān)于申請(qǐng)人如何償還他的貸款的好想法。 之后，我們已經(jīng)使數(shù)據(jù)可以用于建模，現(xiàn)在讓我們來看看Python代碼，來在我們的數(shù)據(jù)集上創(chuàng)建一個(gè)預(yù)測(cè)模型。 因?yàn)?，sklearn要求所有輸入都是數(shù)字，我們應(yīng)該通過編碼類別將我們所有的分類變量轉(zhuǎn)換為數(shù)值型。由于這是一篇介紹性文章，我將不會(huì)進(jìn)入編碼的細(xì)節(jié)。 讓我們做我們的第一個(gè)邏輯回歸模型。 交叉驗(yàn)證得分：%credit_history主導(dǎo)模式。讓我們探索這個(gè)下一個(gè)。讓我們嘗試一些數(shù)值變量：但這是模型對(duì)數(shù)據(jù)過擬合的結(jié)果。 在這里，我們看到的準(zhǔn)確性是100%的訓(xùn)練集。讓我們使用前5個(gè)變量來創(chuàng)建一個(gè)模型。 準(zhǔn)確度：%交叉驗(yàn)證得分：%但輸出應(yīng)該呆在球場(chǎng)。2. 避免使用復(fù)雜的建模技術(shù)作為一個(gè)黑盒子，不了解底層的概念。 所以你準(zhǔn)備好接受挑戰(zhàn)了嗎？用貸款預(yù)測(cè)問題開始你的數(shù)據(jù)科學(xué)之旅。 如果在實(shí)踐Python的時(shí)候，你遇到任何困難，或者你有什么想法/建議/反饋，請(qǐng)通過下面的評(píng)論請(qǐng)我提出 THANKS !!!致力為企業(yè)和個(gè)人提供合同協(xié)議，策劃案計(jì)劃書，學(xué)習(xí)課件等等打造全網(wǎng)一站式需求歡迎您的下載，資料僅供參考可修改
環(huán)評(píng)公示相關(guān)推薦
鄂ICP備17016276號(hào)-1