【正文】 . . . . 編號經(jīng) 管 學(xué) 院統(tǒng) 計 學(xué) 實 踐 報 告題 目： 專 業(yè)： 團(tuán)隊信息： 學(xué)生姓名： 指導(dǎo)教師： 其他： 報告字?jǐn)?shù)： 完成日期 ： 統(tǒng)計學(xué)第 次實踐報告：題目 題目內(nèi)容簡介（可包括如下內(nèi)容，也可自行添加其他內(nèi)容）、理論意義、實際意義（一）大數(shù)據(jù)的概念 麥肯錫對大數(shù)據(jù)概念的解釋是：大數(shù)據(jù)是指大小超過傳統(tǒng)數(shù)據(jù)庫軟件工具抓取、存儲、管理和分析能力的數(shù)據(jù)群。 維基百科的表述是：大數(shù)據(jù)是難以用現(xiàn)有數(shù)據(jù)庫管理工具處理的兼具海量和復(fù)雜性特征的數(shù)據(jù)集成。 國內(nèi)專家涂子沛將大數(shù)據(jù)定義為那些大小已經(jīng)超出傳統(tǒng)意義上的尺度，一般的軟件工具難以捕捉、存儲、管理和分析的數(shù)據(jù)。 對于“大數(shù)據(jù)”（Big data）研究機(jī)構(gòu)Gartner給出了這樣的定義：“大數(shù)據(jù)”是需要新處理模式才能具有更強(qiáng)的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力來適應(yīng)海量、高增長率和多樣化的信息資產(chǎn)（2） 理論意義 管理統(tǒng)計學(xué)課程是近年來經(jīng)濟(jì)管理類專業(yè)新開的專業(yè)基礎(chǔ)課程，目的是培養(yǎng)經(jīng)管類學(xué)生能夠把統(tǒng)計學(xué)知識運用到經(jīng)濟(jì)管理中來解決實際問題。隨著社會的發(fā)展，企業(yè)對經(jīng)濟(jì)管理類學(xué)生的數(shù)據(jù)處理能力有更高的需求，因此管理統(tǒng)計學(xué)的開設(shè)滿足經(jīng)管類學(xué)生及企業(yè)的需求。隨著云時代的到來和互聯(lián)網(wǎng)技術(shù)的發(fā)展，大數(shù)據(jù)即大數(shù)據(jù)技術(shù)出現(xiàn)了。 以往的數(shù)據(jù)收集方法主要有統(tǒng)計調(diào)查和試驗方法。根據(jù)實際研究需要，收集社會經(jīng)濟(jì)現(xiàn)象的統(tǒng)計數(shù)據(jù)和自然科學(xué)領(lǐng)域的數(shù)據(jù)。這些數(shù)據(jù)是數(shù)字、文字等結(jié)構(gòu)化的數(shù)據(jù)。大數(shù)據(jù)時代，統(tǒng)計數(shù)據(jù)的產(chǎn)生方式呈現(xiàn)多樣化，如有網(wǎng)站瀏覽痕跡、監(jiān)控視頻、GPS系統(tǒng)等產(chǎn)生方式，產(chǎn)生的數(shù)據(jù)多為非結(jié)構(gòu)化數(shù)據(jù)很難用二維表格表示，如所有格式的辦公文檔、文本、圖片、HTML、各類圖像和音頻、視頻信息等。結(jié)構(gòu)化數(shù)據(jù)出現(xiàn)，統(tǒng)計數(shù)據(jù)的收集方式和內(nèi)容將會改變。 管理統(tǒng)計學(xué)中推斷統(tǒng)計學(xué)的參數(shù)估計方法和假設(shè)檢驗方法，主要采用抽樣調(diào)查法，利用樣本數(shù)據(jù)的信息來估計或者計算總體參數(shù)情況。大數(shù)據(jù)不用隨機(jī)分析法（抽樣調(diào)查）這樣的捷徑，而采用所有數(shù)據(jù)的方法。在大數(shù)據(jù)下，樣本集總體，處理數(shù)據(jù)不再僅僅依賴樣本進(jìn)行數(shù)據(jù)的推斷統(tǒng)計。另外依靠小概率事件不可能發(fā)生的參數(shù)估計和假設(shè)檢驗方法就失去了處理大數(shù)據(jù)的意義。但一些傳統(tǒng)的數(shù)據(jù)分析方法，如聚類分析、相關(guān)分析、回歸分析等方法，仍然是可以使用的。雖然這些傳統(tǒng)的分析方法已經(jīng)被應(yīng)用于大數(shù)據(jù)領(lǐng)域，但是他們在處理規(guī)模較大的數(shù)據(jù)集合時，效率無法達(dá)到用戶預(yù)期，且難以處理復(fù)雜的數(shù)據(jù)。大數(shù)據(jù)時代的到來，給統(tǒng)計學(xué)的發(fā)展帶來了前所未有的機(jī)遇，但同時，也對統(tǒng)計學(xué)提出了更多的挑戰(zhàn)。在此，本文將從以下 7 個方面闡述大數(shù)據(jù)時代下傳統(tǒng)統(tǒng)計學(xué)的變革。（1） 樣本概念的深化 除普查以外，傳統(tǒng)統(tǒng)計學(xué)離不開樣本，樣本是研究中實際觀測或調(diào)查的一部分個體，一個可用的樣本必須能夠正確地反映總體情況。大數(shù)據(jù)時代，樣本的概念不再這么簡單，由于此時數(shù)據(jù)大部分為網(wǎng)絡(luò)數(shù)據(jù)，因此可以將其分為兩種類型: 一是靜態(tài)數(shù)據(jù)，即當(dāng)客戶在查看數(shù)據(jù)時已經(jīng)被生成好了，沒有和服務(wù)器數(shù)據(jù)庫進(jìn)行交互的數(shù)據(jù)，直接在客戶端創(chuàng)建完畢，對于這種數(shù)據(jù)，樣本等同于總體，這樣無需去提取樣本并檢測樣本的可用性，減少了成本，并且總體本身對總體的反映更為準(zhǔn)確，減少了誤差。 二是動態(tài)數(shù)據(jù)，比如數(shù)據(jù)是隨著時間的推移而變化的，此時，總體表現(xiàn)為歷史長河中所有數(shù)據(jù)的總和，而我們分析的對象為“樣本”，這里的“樣本”與傳統(tǒng)樣本的概念不同，因其并非局限于隨機(jī)抽取的數(shù)據(jù)，更可以是選定的與分析目的相關(guān)的數(shù)據(jù)。（2）． 數(shù)據(jù)類型的擴(kuò)大。 傳統(tǒng)意義上的數(shù)據(jù)為結(jié)構(gòu)化數(shù)據(jù)，即可以用常規(guī)統(tǒng)計指標(biāo)或圖表表現(xiàn)出來的定量數(shù)據(jù)或?qū)ｉT設(shè)計的定性數(shù)據(jù)，有固定的結(jié)構(gòu)和標(biāo)準(zhǔn)。大數(shù)據(jù)是指不僅包括結(jié)構(gòu)化數(shù)據(jù)，還包含非結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)或異構(gòu)數(shù)據(jù)，即一切可以記錄和存儲的信號，具有多樣化的特點，并且傳統(tǒng)的統(tǒng)計指標(biāo)等不一定可以將其完整地表述出來。 其次，大數(shù)據(jù)的存儲不同于傳統(tǒng)的數(shù)據(jù)存儲方式，有固定的格式和結(jié)構(gòu)，對于大數(shù)據(jù)的數(shù)據(jù)庫來說，可以直接將所探測到的信號自動容納到其中。 最后，由于大數(shù)據(jù)大部分是指非結(jié)構(gòu)化以及半結(jié)構(gòu)化數(shù)據(jù)，因此對數(shù)據(jù)的識別和分類也是多樣的，通常用網(wǎng)絡(luò)信息系統(tǒng)作為識別工具。 （3）． 收集概念的擴(kuò)展。 傳統(tǒng)統(tǒng)計中，數(shù)據(jù)的收集需要根據(jù)統(tǒng)計分析的目的進(jìn)行，過程包括設(shè)計調(diào)查方案、嚴(yán)格控制調(diào)查流程，因此具有低效率、高成本的缺點。在大數(shù)據(jù)時代，對數(shù)據(jù)的收集分為三步，首先是數(shù)據(jù)預(yù)處理，包括識別與整理。 其次是數(shù)據(jù)分析，目的為提煉有價值的信息。 最后為數(shù)據(jù)存儲。我們擁有超大量可選擇的數(shù)據(jù)，同時，在存儲能力、分析能力、甄別數(shù)據(jù)的真?zhèn)?、選擇關(guān)聯(lián)物、提煉和利用數(shù)據(jù)、確定分析節(jié)點等方面，都需要斟酌。然而，這并不代表大數(shù)據(jù)時代搜集的數(shù)據(jù)是萬能的，我們?nèi)匀恍枰嗅槍π缘厮鸭?，不僅如此，還存在著安全性和成本的問題。因此，我們應(yīng)該將傳統(tǒng)方法中有針對性的收集數(shù)據(jù)的優(yōu)點和現(xiàn)代方法中利用高效率的技術(shù)和廣泛數(shù)據(jù)源的優(yōu)點結(jié)合起來，收集一切相關(guān)數(shù)據(jù)。 （4）.數(shù)據(jù)來源的不同。 傳統(tǒng)統(tǒng)計中是根據(jù)研究目的去收集數(shù)據(jù)，數(shù)據(jù)來源通常是已知的，很容易對數(shù)據(jù)提供者的身份進(jìn)行識別或進(jìn)行事后核對。而大數(shù)據(jù)的來源則很難追溯，由于大數(shù)據(jù)的來源一般為信息網(wǎng)絡(luò)系統(tǒng)，不具有很強(qiáng)的目的性，更是一切被人為記錄的信號( 盡管信號有其目的性，但多數(shù)為發(fā)散的) ，并且很難識別記錄者的身份。在大數(shù)據(jù)時代，努力打造統(tǒng)計數(shù)據(jù)來源第二軌，就顯得尤為重要。 （5）． 量化方式的變化。 傳統(tǒng)數(shù)據(jù)為結(jié)構(gòu)化數(shù)據(jù)，對數(shù)據(jù)的量化方式已經(jīng)相當(dāng)成熟，并且比較容易得到可以直接進(jìn)行分析的數(shù)據(jù)結(jié)果。大數(shù)據(jù)時代主要面對的是非結(jié)構(gòu)化數(shù)據(jù)，F(xiàn)ranks 說過: “幾乎沒有哪種分析過程能夠直接對非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行分析，也無法直接從非結(jié)構(gòu)化的數(shù)據(jù)中得出結(jié)論”。目前，計算機(jī)學(xué)界已著手研發(fā)處理非結(jié)構(gòu)化數(shù)據(jù)的技術(shù)，從統(tǒng)計角度直接處理非結(jié)構(gòu)化數(shù)據(jù)，或?qū)⑵淞炕山Y(jié)構(gòu)化數(shù)據(jù)，這是