【正文】 白，已經(jīng)出現(xiàn)國內(nèi)一些互聯(lián)網(wǎng)金融公司為了進行信用評估，忽視個人消費者的知情權(quán)和隱私保護。另外，生活在互聯(lián)網(wǎng)時代，面對大數(shù)據(jù)技術(shù)的發(fā)展，美國三大征信機構(gòu)以及FICO也已經(jīng)開始大數(shù)據(jù)征信方面的研發(fā)（作為常規(guī)的數(shù)據(jù)源更新的一種方式），但截至目前，尚未形成獨立的信用評估手段。目前互聯(lián)網(wǎng)金融處于快速的發(fā)展過程中，根據(jù)銀監(jiān)會的統(tǒng)計，目前國內(nèi)可查的P2P網(wǎng)貸公司已經(jīng)達到1200家。 近年來，這種基于大數(shù)據(jù)的信用風險評估框架（遠不能稱為主流的信用評估方法）被國內(nèi)外多家互聯(lián)網(wǎng)金融機構(gòu)采用，如德國的Kreditech、美國的Kabbage，以及國內(nèi)最近獲得IDG公司A首輪4000萬元投資的閃銀（Wecash）等，對傳統(tǒng)的信用體系形成了沖擊。首先，數(shù)千種來源于第三方（如電話賬單和租賃歷史等）和借貸者的原始數(shù)據(jù)將被輸入系統(tǒng)。只有充分考察借款人借款行為背后的線索及線索間的關(guān)聯(lián)性，才能提供深度、有效的數(shù)據(jù)分析服務(wù)，降低貸款違約率。國外三大征信機構(gòu)和FICO公司都已經(jīng)開始了如何利用大數(shù)據(jù)技術(shù)來完善傳統(tǒng)信用評估體系的前瞻性研究，如益百利（Experian）投入研究團隊關(guān)注社交網(wǎng)絡(luò)數(shù)據(jù)對信用評分的影響，F(xiàn)ICO公司多年前就開始了在線評估的信息工具和基于互聯(lián)網(wǎng)的信用評估系統(tǒng)的項目研究。信用記錄不完整或者不夠完善的個人消費者，依據(jù)傳統(tǒng)信用評估體系（FICO評分），往往很難被傳統(tǒng)金融服務(wù)機構(gòu)所覆蓋，即使在金融體系發(fā)達的美國也無法獲得常規(guī)的金融服務(wù)，或者需要付出很大的代價才能獲得常規(guī)的金融服務(wù)。 二、為什么要進行大數(shù)據(jù)評估傳統(tǒng)的信用評估服務(wù)無法覆蓋全體人群，特別是弱勢群體？大數(shù)據(jù)征信應(yīng)用與啟示 wbr——以美國互聯(lián)網(wǎng)金融公司 wbrZestFinance為例圖1展示了美國FICO評分與其對應(yīng)的人口分布情況，初始每個人的分值基數(shù)為850分，信用評分模型利用征信數(shù)據(jù)從多個評分因素考察消費者的信用風險，從850分中減分。梅瑞爾（Douglas Merrill）和金融機構(gòu)Capital One的信貸部高級主管肖恩常見的統(tǒng)計軟件有 SAS、R、STATA、SPSS、MATLAB 等。大數(shù)據(jù)時代，統(tǒng)計分析過程為“定量—定性”，基礎(chǔ)性的工作就是找到“定量的回應(yīng)”，直接從各種“定量的回應(yīng)”中找出有價值的、為我們所需要的數(shù)據(jù)，并通過分析找到數(shù)據(jù)的特征和數(shù)量關(guān)系，進而據(jù)此做出判斷與決策。目前，計算機學(xué)界已著手研發(fā)處理非結(jié)構(gòu)化數(shù)據(jù)的技術(shù)，從統(tǒng)計角度直接處理非結(jié)構(gòu)化數(shù)據(jù)，或?qū)⑵淞炕山Y(jié)構(gòu)化數(shù)據(jù)，這是一個重要的研究領(lǐng)域。因此，我們應(yīng)該將傳統(tǒng)方法中有針對性的收集數(shù)據(jù)的優(yōu)點和現(xiàn)代方法中利用高效率的技術(shù)和廣泛數(shù)據(jù)源的優(yōu)點結(jié)合起來，收集一切相關(guān)數(shù)據(jù)。 最后，由于大數(shù)據(jù)大部分是指非結(jié)構(gòu)化以及半結(jié)構(gòu)化數(shù)據(jù)，因此對數(shù)據(jù)的識別和分類也是多樣的，通常用網(wǎng)絡(luò)信息系統(tǒng)作為識別工具。在此，本文將從以下 7 個方面闡述大數(shù)據(jù)時代下傳統(tǒng)統(tǒng)計學(xué)的變革。結(jié)構(gòu)化數(shù)據(jù)出現(xiàn)，統(tǒng)計數(shù)據(jù)的收集方式和內(nèi)容將會改變。 國內(nèi)專家涂子沛將大數(shù)據(jù)定義為那些大小已經(jīng)超出傳統(tǒng)意義上的尺度，一般的軟件工具難以捕捉、存儲、管理和分析的數(shù)據(jù)。隨著云時代的到來和互聯(lián)網(wǎng)技術(shù)的發(fā)展，大數(shù)據(jù)即大數(shù)據(jù)技術(shù)出現(xiàn)了。在大數(shù)據(jù)下，樣本集總體，處理數(shù)據(jù)不再僅僅依賴樣本進行數(shù)據(jù)的推斷統(tǒng)計。 二是動態(tài)數(shù)據(jù)，比如數(shù)據(jù)是隨著時間的推移而變化的，此時，總體表現(xiàn)為歷史長河中所有數(shù)據(jù)的總和，而我們分析的對象為“樣本”，這里的“樣本”與傳統(tǒng)樣本的概念不同，因其并非局限于隨機抽取的數(shù)據(jù)，更可以是選定的與分析目的相關(guān)的數(shù)據(jù)。在大數(shù)據(jù)時代，對數(shù)據(jù)的收集分為三步，首先是數(shù)據(jù)預(yù)處理，包括識別與整理。而大數(shù)據(jù)的來源則很難追溯，由于大數(shù)據(jù)的來源一般為信息網(wǎng)絡(luò)系統(tǒng)，不具有很強的目的性，更是一切被人為記錄的信號( 盡管信號有其目的性，但多數(shù)為發(fā)散的) ，并且很難識別記錄者的身份。第一，傳統(tǒng)的統(tǒng)計分析過程分為三步，定性、定量、再定性。大數(shù)據(jù)時代，實證分析的思路是“發(fā)現(xiàn)—總結(jié)”，為了更全面、深入地了解研究對象，需要對數(shù)據(jù)進行整合，從中去尋找關(guān)系、發(fā)現(xiàn)規(guī)律，然后再加以總結(jié)、形成結(jié)論，這將有助于發(fā)現(xiàn)更多意外的“發(fā)現(xiàn)”。 綜上所述，大數(shù)據(jù)時代的來臨，對傳統(tǒng)統(tǒng)計學(xué)的變革從樣本的定義方法一直到數(shù)據(jù)分析的思維與技術(shù)均有所體現(xiàn)。ZestFinance起 初是為傳統(tǒng)的發(fā)薪日貸款（PaydayLoans）提供在線替代的產(chǎn)品。從圖1可以看出，還有大量的人群遠低于平均的678分，如FICO評分在550～549的占8%，在500～549的占5%，小于499分的占2%。但隨著信貸業(yè)務(wù)的進一步開展，F(xiàn)ICO信用評分由于單一的標準、嚴苛的門檻和片面的評估結(jié)果而飽受詬病。 （一）大數(shù)據(jù)采集技術(shù) ZestFinance以大數(shù)據(jù)技術(shù)為基礎(chǔ)采集多源數(shù)據(jù)，一方面繼承了傳統(tǒng)征信體系的決策變量，重視深度挖掘授信對象的信貸歷史。此外社交網(wǎng)絡(luò)數(shù)據(jù)也是大數(shù)據(jù)征信的重要數(shù)據(jù)源。然后將這些較大的變量輸入到不同的數(shù)據(jù)分析模型中去。 （2）從數(shù)據(jù)源來說，這種新的信用風險評估體系大量采用非傳統(tǒng)的信用數(shù)據(jù)，包括互聯(lián)網(wǎng)上的行為數(shù)據(jù)和關(guān)系數(shù)據(jù)，傳統(tǒng)的信用數(shù)據(jù)（銀行信貸數(shù)據(jù)）的比重僅占到了40%，甚至完全不用傳統(tǒng)的信貸信用數(shù)據(jù)進行風險評估。然而對于ZestFinance的大數(shù)據(jù)征信技術(shù)，還需要有全面的認識。 （3）ZestFinance的大數(shù)據(jù)分析模型也給信用風險管理帶來復(fù)雜性的挑戰(zhàn)。 （1）普惠金融需要挖掘更多人的信用。截至2013年12月。ZestFinance目前也正在向信用風險管理的其他領(lǐng)域縱深擴展，2014年2月ZestFinance宣布推出基于大數(shù)據(jù)分析的收債評分（CollectionScore），旨在為汽車金融、學(xué)生貸款、醫(yī)療貸款提供一種新的評分系統(tǒng)。分布式數(shù)據(jù)庫是數(shù)據(jù)庫技術(shù)與網(wǎng)絡(luò)技術(shù)相結(jié)合的產(chǎn)物，在數(shù)據(jù)庫領(lǐng)域已形成一個分支。例如，用戶可以“發(fā)表”一個允許其他客戶機訪問 的目錄，一旦被訪問，這個目錄對客戶機來說就象使用本地驅(qū)動器一樣，下面是三個基本的 分布式文件系統(tǒng)。 本地文件系統(tǒng)(Local File System)是指文件系統(tǒng)管理 的物理存儲資源直接連接在本地節(jié)點上，處理器通過系統(tǒng)總線可以直接訪問。存儲系統(tǒng)、文件系統(tǒng)面臨的新挑戰(zhàn)也隨 之而來: 如何管理更多的設(shè)備，提供更好的性能，更加有效地降低管理成本等。這種方案中所 有數(shù)據(jù)主要保存在DVR 中，后臺主要負責維護和必要的存儲。(3)流媒體網(wǎng)關(guān)可以 作為存儲解決方案的核心設(shè)備。大數(shù)據(jù)分析RDBMS與MapReduce分布式文件系統(tǒng)在云存儲環(huán)境下若干問題研究中國科學(xué)技術(shù)大學(xué)20110401對等網(wǎng)絡(luò)分布式緩存機制研究分布式數(shù)據(jù)庫數(shù)據(jù)分配策略研究用一些事情，總會看清一些人。