【正文】 . . . . 編號(hào)經(jīng) 管 學(xué) 院統(tǒng) 計(jì) 學(xué) 實(shí) 踐 報(bào) 告題 目： 專 業(yè)： 團(tuán)隊(duì)信息： 學(xué)生姓名： 指導(dǎo)教師： 其他： 報(bào)告字?jǐn)?shù)： 完成日期 ： 統(tǒng)計(jì)學(xué)第 次實(shí)踐報(bào)告：題目 題目內(nèi)容簡介（可包括如下內(nèi)容，也可自行添加其他內(nèi)容）、理論意義、實(shí)際意義（一）大數(shù)據(jù)的概念 麥肯錫對(duì)大數(shù)據(jù)概念的解釋是：大數(shù)據(jù)是指大小超過傳統(tǒng)數(shù)據(jù)庫軟件工具抓取、存儲(chǔ)、管理和分析能力的數(shù)據(jù)群。 維基百科的表述是：大數(shù)據(jù)是難以用現(xiàn)有數(shù)據(jù)庫管理工具處理的兼具海量和復(fù)雜性特征的數(shù)據(jù)集成。 國內(nèi)專家涂子沛將大數(shù)據(jù)定義為那些大小已經(jīng)超出傳統(tǒng)意義上的尺度，一般的軟件工具難以捕捉、存儲(chǔ)、管理和分析的數(shù)據(jù)。 對(duì)于“大數(shù)據(jù)”（Big data）研究機(jī)構(gòu)Gartner給出了這樣的定義：“大數(shù)據(jù)”是需要新處理模式才能具有更強(qiáng)的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力來適應(yīng)海量、高增長率和多樣化的信息資產(chǎn)（2） 理論意義 管理統(tǒng)計(jì)學(xué)課程是近年來經(jīng)濟(jì)管理類專業(yè)新開的專業(yè)基礎(chǔ)課程，目的是培養(yǎng)經(jīng)管類學(xué)生能夠把統(tǒng)計(jì)學(xué)知識(shí)運(yùn)用到經(jīng)濟(jì)管理中來解決實(shí)際問題。隨著社會(huì)的發(fā)展，企業(yè)對(duì)經(jīng)濟(jì)管理類學(xué)生的數(shù)據(jù)處理能力有更高的需求，因此管理統(tǒng)計(jì)學(xué)的開設(shè)滿足經(jīng)管類學(xué)生及企業(yè)的需求。隨著云時(shí)代的到來和互聯(lián)網(wǎng)技術(shù)的發(fā)展，大數(shù)據(jù)即大數(shù)據(jù)技術(shù)出現(xiàn)了。 以往的數(shù)據(jù)收集方法主要有統(tǒng)計(jì)調(diào)查和試驗(yàn)方法。根據(jù)實(shí)際研究需要，收集社會(huì)經(jīng)濟(jì)現(xiàn)象的統(tǒng)計(jì)數(shù)據(jù)和自然科學(xué)領(lǐng)域的數(shù)據(jù)。這些數(shù)據(jù)是數(shù)字、文字等結(jié)構(gòu)化的數(shù)據(jù)。大數(shù)據(jù)時(shí)代，統(tǒng)計(jì)數(shù)據(jù)的產(chǎn)生方式呈現(xiàn)多樣化，如有網(wǎng)站瀏覽痕跡、監(jiān)控視頻、GPS系統(tǒng)等產(chǎn)生方式，產(chǎn)生的數(shù)據(jù)多為非結(jié)構(gòu)化數(shù)據(jù)很難用二維表格表示，如所有格式的辦公文檔、文本、圖片、HTML、各類圖像和音頻、視頻信息等。結(jié)構(gòu)化數(shù)據(jù)出現(xiàn)，統(tǒng)計(jì)數(shù)據(jù)的收集方式和內(nèi)容將會(huì)改變。 管理統(tǒng)計(jì)學(xué)中推斷統(tǒng)計(jì)學(xué)的參數(shù)估計(jì)方法和假設(shè)檢驗(yàn)方法，主要采用抽樣調(diào)查法，利用樣本數(shù)據(jù)的信息來估計(jì)或者計(jì)算總體參數(shù)情況。大數(shù)據(jù)不用隨機(jī)分析法（抽樣調(diào)查）這樣的捷徑，而采用所有數(shù)據(jù)的方法。在大數(shù)據(jù)下，樣本集總體，處理數(shù)據(jù)不再僅僅依賴樣本進(jìn)行數(shù)據(jù)的推斷統(tǒng)計(jì)。另外依靠小概率事件不可能發(fā)生的參數(shù)估計(jì)和假設(shè)檢驗(yàn)方法就失去了處理大數(shù)據(jù)的意義。但一些傳統(tǒng)的數(shù)據(jù)分析方法，如聚類分析、相關(guān)分析、回歸分析等方法，仍然是可以使用的。雖然這些傳統(tǒng)的分析方法已經(jīng)被應(yīng)用于大數(shù)據(jù)領(lǐng)域，但是他們?cè)谔幚硪?guī)模較大的數(shù)據(jù)集合時(shí)，效率無法達(dá)到用戶預(yù)期，且難以處理復(fù)雜的數(shù)據(jù)。大數(shù)據(jù)時(shí)代的到來，給統(tǒng)計(jì)學(xué)的發(fā)展帶來了前所未有的機(jī)遇，但同時(shí)，也對(duì)統(tǒng)計(jì)學(xué)提出了更多的挑戰(zhàn)。在此，本文將從以下 7 個(gè)方面闡述大數(shù)據(jù)時(shí)代下傳統(tǒng)統(tǒng)計(jì)學(xué)的變革。（1） 樣本概念的深化 除普查以外，傳統(tǒng)統(tǒng)計(jì)學(xué)離不開樣本，樣本是研究中實(shí)際觀測(cè)或調(diào)查的一部分個(gè)體，一個(gè)可用的樣本必須能夠正確地反映總體情況。大數(shù)據(jù)時(shí)代，樣本的概念不再這么簡單，由于此時(shí)數(shù)據(jù)大部分為網(wǎng)絡(luò)數(shù)據(jù)，因此可以將其分為兩種類型: 一是靜態(tài)數(shù)據(jù)，即當(dāng)客戶在查看數(shù)據(jù)時(shí)已經(jīng)被生成好了，沒有和服務(wù)器數(shù)據(jù)庫進(jìn)行交互的數(shù)據(jù)，直接在客戶端創(chuàng)建完畢，對(duì)于這種數(shù)據(jù)，樣本等同于總體，這樣無需去提取樣本并檢測(cè)樣本的可用性，減少了成本，并且總體本身對(duì)總體的反映更為準(zhǔn)確，減少了誤差。 二是動(dòng)態(tài)數(shù)據(jù)，比如數(shù)據(jù)是隨著時(shí)間的推移而變化的，此時(shí)，總體表現(xiàn)為歷史長河中所有數(shù)據(jù)的總和，而我們分析的對(duì)象為“樣本”，這里的“樣本”與傳統(tǒng)樣本的概念不同，因其并非局限于隨機(jī)抽取的數(shù)據(jù)，更可以是選定的與分析目的相關(guān)的數(shù)據(jù)。（2）． 數(shù)據(jù)類型的擴(kuò)大。 傳統(tǒng)意義上的數(shù)據(jù)為結(jié)構(gòu)化數(shù)據(jù)，即可以用常規(guī)統(tǒng)計(jì)指標(biāo)或圖表表現(xiàn)出來的定量數(shù)據(jù)或?qū)ｉT設(shè)計(jì)的定性數(shù)據(jù)，有固定的結(jié)構(gòu)和標(biāo)準(zhǔn)。大數(shù)據(jù)是指不僅包括結(jié)構(gòu)化數(shù)據(jù)，還包含非結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)或異構(gòu)數(shù)據(jù)，即一切可以記錄和存儲(chǔ)的信號(hào)，具有多樣化的特點(diǎn)，并且傳統(tǒng)的統(tǒng)計(jì)指標(biāo)等不一定可以將其完整地表述出來。 其次，大數(shù)據(jù)的存儲(chǔ)不同于傳統(tǒng)的數(shù)據(jù)存儲(chǔ)方式，有固定的格式和結(jié)構(gòu)，對(duì)于大數(shù)據(jù)的數(shù)據(jù)庫來說，可以直接將所探測(cè)到的信號(hào)自動(dòng)容納到其中。 最后，由于大數(shù)據(jù)大部分是指非結(jié)構(gòu)化以及半結(jié)構(gòu)化數(shù)據(jù)，因此對(duì)數(shù)據(jù)的識(shí)別和分類也是多樣的，通常用網(wǎng)絡(luò)信息系統(tǒng)作為識(shí)別工具。 （3）． 收集概念的擴(kuò)展。 傳統(tǒng)統(tǒng)計(jì)中，數(shù)據(jù)的收集需要根據(jù)統(tǒng)計(jì)分析的目的進(jìn)行，過程包括設(shè)計(jì)調(diào)查方案、嚴(yán)格控制調(diào)查流程，因此具有低效率、高成本的缺點(diǎn)。在大數(shù)據(jù)時(shí)代，對(duì)數(shù)據(jù)的收集分為三步，首先是數(shù)據(jù)預(yù)處理，包括識(shí)別與整理。 其次是數(shù)據(jù)分析，目的為提煉有價(jià)值的信息。 最后為數(shù)據(jù)存儲(chǔ)。我們擁有超大量可選擇的數(shù)據(jù)，同時(shí)，在存儲(chǔ)能力、分析能力、甄別數(shù)據(jù)的真?zhèn)巍⑦x擇關(guān)聯(lián)物、提煉和利用數(shù)據(jù)、確定分析節(jié)點(diǎn)等方面，都需要斟酌。然而，這并不代表大數(shù)據(jù)時(shí)代搜集的數(shù)據(jù)是萬能的，我們?nèi)匀恍枰嗅槍?duì)性地搜集，不僅如此，還存在著安全性和成本的問題。因此，我們應(yīng)該將傳統(tǒng)方法中有針對(duì)性的收集數(shù)據(jù)的優(yōu)點(diǎn)和現(xiàn)代方法中利用高效率的技術(shù)和廣泛數(shù)據(jù)源的優(yōu)點(diǎn)結(jié)合起來，收集一切相關(guān)數(shù)據(jù)。 （4）.數(shù)據(jù)來源的不同。 傳統(tǒng)統(tǒng)計(jì)中是根據(jù)研究目的去收集數(shù)據(jù)，數(shù)據(jù)來源通常是已知的，很容易對(duì)數(shù)據(jù)提供者的身份進(jìn)行識(shí)別或進(jìn)行事后核對(duì)。而大數(shù)據(jù)的來源則很難追溯，由于大數(shù)據(jù)的來源一般為信息網(wǎng)絡(luò)系統(tǒng)，不具有很強(qiáng)的目的性，更是一切被人為記錄的信號(hào)( 盡管信號(hào)有其目的性，但多數(shù)為發(fā)散的) ，并且很難識(shí)別記錄者的身份。在大數(shù)據(jù)時(shí)代，努力打造統(tǒng)計(jì)數(shù)據(jù)來源第二軌，就顯得尤為重要。 （5）． 量化方式的變化。 傳統(tǒng)數(shù)據(jù)為結(jié)構(gòu)化數(shù)據(jù)，對(duì)數(shù)據(jù)的量化方式已經(jīng)相當(dāng)成熟，并且比較容易得到可以直接進(jìn)行分析的數(shù)據(jù)結(jié)果。大數(shù)據(jù)時(shí)代主要面對(duì)的是非結(jié)構(gòu)化數(shù)據(jù)，F(xiàn)ranks 說過: “幾乎沒有哪種分析過程能夠直接對(duì)非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行分析，也無法直接從非結(jié)構(gòu)化的數(shù)據(jù)中得出結(jié)論”。目前，計(jì)算機(jī)學(xué)界已著手研發(fā)處理非結(jié)構(gòu)化數(shù)據(jù)的技術(shù)，從統(tǒng)計(jì)角度直接處理非結(jié)構(gòu)化數(shù)據(jù)，或?qū)⑵淞炕山Y(jié)構(gòu)化數(shù)據(jù)，這是