大數(shù)據(jù)統(tǒng)計學(xué)實踐報告-免費閱讀
【正文】 4. 歲月是無情的，假如你丟給它的是一片空白，它還給你的也是一片空白。中國石油大學(xué)基于分布式緩存技術(shù)的文檔管理系統(tǒng)應(yīng)用研究大規(guī)模分布式存儲技術(shù)研究大數(shù)據(jù)時代智謀未來信息化建設(shè)分布式存儲系 統(tǒng)作為云存儲技術(shù)的基礎(chǔ)得到了越來越廣泛的應(yīng)用,其中存儲虛擬化常常被用于私有云存儲 的方案中,而面向?qū)ο蟮拇鎯头植际轿募到y(tǒng)被更多地應(yīng)用于公有云的系統(tǒng)中。存儲的利用率不高。傳統(tǒng)的網(wǎng)絡(luò)存儲系統(tǒng)采用 集中的存儲服務(wù)器存放所有數(shù)據(jù)，存儲服務(wù)器成為系統(tǒng)性能的瓶頸，也是可靠性和安全性的 焦點，不能滿足大規(guī)模存儲應(yīng)用的需要。 但是，現(xiàn)在的分布式文件系統(tǒng)一般還是保持與最基本的本地文件系統(tǒng)幾乎相同的訪問接口和 對象模型，這主要是為了向用戶提供向后的兼容性，同時保持原來的簡單對象模型和訪問接 口。 根據(jù)計算環(huán)境和所提供功能的不同，文件系統(tǒng)可劃分為四個層次，從低 到高依次是:單處理器單用戶的本地文件系統(tǒng)，如DOS 的文件系統(tǒng)。 分布式文件系統(tǒng) 分布式文件系統(tǒng)(Distributed File System)是指文件系統(tǒng)管理的物理存儲資源不一定直 接連接在本地節(jié)點上，而是通過計算機網(wǎng)絡(luò)與節(jié)點相連。這時集中式數(shù)據(jù)庫系統(tǒng)表現(xiàn)出它的不足:數(shù)據(jù)按實 際需要已在網(wǎng)絡(luò)上分布存儲，再采用集中式處理，勢必造成通信開銷大。新的信用風(fēng)險體系的一個顛覆性的基本思想是一切數(shù)據(jù)皆信用，這是需要大數(shù)據(jù)技術(shù)來支撐的。 （2）互聯(lián)網(wǎng)上的海量信息可以成為征信體系的新數(shù)據(jù)源。ZestFinance在利用個人消費者的大數(shù)據(jù)進行信用評估時，很多數(shù)據(jù)會涉及個人隱私，如對于個人社交網(wǎng)絡(luò)的數(shù)據(jù)（微信朋友圈）和電商交易的數(shù)據(jù)、通話記錄、微博的數(shù)據(jù)等應(yīng)用，美國對個人隱私的保護是有明確的邊界的。中國的金融生態(tài)環(huán)境和美國還是有一定的差別，ZestFinance的經(jīng)驗不能直接照抄照搬，需要進行消化吸收，結(jié)合中國的實際情況來進行大數(shù)據(jù)征信。 六、對中國互聯(lián)網(wǎng)金融和信用評估的啟示 利用大數(shù)據(jù)技術(shù)的信用評估方法在現(xiàn)實中有著很大的市場需求，如國內(nèi)快速發(fā)展的互聯(lián)網(wǎng)金融中的風(fēng)險管理問題。這種機制的決策性能遠遠好于業(yè)界的平均水平。 （二）大數(shù)據(jù)分析模型大數(shù)據(jù)征信應(yīng)用與啟示 wbr——以美國互聯(lián)網(wǎng)金融公司 wbrZestFinance為例 圖5展示了ZestFinance的信用評估分析原理，融合多源信息，采用了先進機器學(xué)習(xí)的預(yù)測模型和集成學(xué)習(xí)的策略，進行大數(shù)據(jù)挖掘。類似地，非常規(guī)數(shù)據(jù)是客觀世界的傳感器，反映了借款人真實的狀態(tài)，是客戶真實的社會網(wǎng)絡(luò)的映射。大數(shù)據(jù)征信應(yīng)用與啟示 wbr——以美國互聯(lián)網(wǎng)金融公司 wbrZestFinance為例 由于傳統(tǒng)的基于FICO評分的信用評估模型覆蓋人群窄、信息維度單一、時間上滯后，所以，在大數(shù)據(jù)時代，需要探索信用評估的新思路。表1根據(jù)FICO評分將服務(wù)人群分為四個區(qū)間，并對應(yīng)不同的金融服務(wù)機構(gòu)。泰爾（PeterThiel）領(lǐng)投了ZestFinance的2000萬美元融資。一、ZestFinance簡介ZestFinance，原名ZestCash，是美國一家新興的互聯(lián)網(wǎng)金融公司，2009年9月成立于洛杉磯，由互聯(lián)網(wǎng)巨頭谷歌（Google）的前信息總監(jiān)道格拉斯 傳統(tǒng)統(tǒng)計學(xué)以統(tǒng)計模型和軟件為基礎(chǔ)進行數(shù)據(jù)分析處理，統(tǒng)計模型的作用在于對數(shù)據(jù)間的數(shù)量關(guān)系進行構(gòu)建，統(tǒng)計軟件是分析和處理數(shù)據(jù)的工具，需要研究者自主輸入經(jīng)過處理的數(shù)據(jù)，以及統(tǒng)計模型的公式等。 最后根據(jù)結(jié)果得出結(jié)論。大數(shù)據(jù)時代主要面對的是非結(jié)構(gòu)化數(shù)據(jù)，F(xiàn)ranks 說過: “幾乎沒有哪種分析過程能夠直接對非結(jié)構(gòu)化數(shù)據(jù)進行分析，也無法直接從非結(jié)構(gòu)化的數(shù)據(jù)中得出結(jié)論”。然而，這并不代表大數(shù)據(jù)時代搜集的數(shù)據(jù)是萬能的，我們?nèi)匀恍枰嗅槍π缘厮鸭?，不僅如此，還存在著安全性和成本的問題。 其次，大數(shù)據(jù)的存儲不同于傳統(tǒng)的數(shù)據(jù)存儲方式，有固定的格式和結(jié)構(gòu)，對于大數(shù)據(jù)的數(shù)據(jù)庫來說，可以直接將所探測到的信號自動容納到其中。大數(shù)據(jù)時代的到來，給統(tǒng)計學(xué)的發(fā)展帶來了前所未有的機遇，但同時，也對統(tǒng)計學(xué)提出了更多的挑戰(zhàn)。大數(shù)據(jù)時代，統(tǒng)計數(shù)據(jù)的產(chǎn)生方式呈現(xiàn)多樣化，如有網(wǎng)站瀏覽痕跡、監(jiān)控視頻、GPS系統(tǒng)等產(chǎn)生方式，產(chǎn)生的數(shù)據(jù)多為非結(jié)構(gòu)化數(shù)據(jù)很難用二維表格表示，如所有格式的辦公文檔、文本、圖片、HTML、各類圖像和音頻、視頻信息等。 維基百科的表述是：大數(shù)據(jù)是難以用現(xiàn)有數(shù)據(jù)庫管理工具處理的兼具海量和復(fù)雜性特征的數(shù)據(jù)集成。 以往的數(shù)據(jù)收集方法主要有統(tǒng)計調(diào)查和試驗方法。另外依靠小概率事件不可能發(fā)生的參數(shù)估計和假設(shè)檢驗方法就失去了處理大數(shù)據(jù)的意義。（2）． 數(shù)據(jù)類型的擴大。 其次是數(shù)據(jù)分析，目的為提煉有價值的信息。在大數(shù)據(jù)時代，努力打造統(tǒng)計數(shù)據(jù)來源第二軌，就顯得尤為重要。首先通過經(jīng)驗判斷找到統(tǒng)計方向，即目的。第三，傳統(tǒng)的統(tǒng)計推斷分析過程是以分布理論為基礎(chǔ)，在概率保證的前提下，對總體進行推斷，通常是根據(jù)樣本特征去推斷總體特征，推斷是否正確取決于樣本的好壞?？梢钥闯?，大數(shù)據(jù)使我們對數(shù)據(jù)的利用取得了更大的主動權(quán)，將促使傳統(tǒng)統(tǒng)計學(xué)的迅速發(fā)展。發(fā)薪日貸款因借款人承諾在發(fā)薪日還款而得名。根據(jù)FICO的標(biāo)準(zhǔn)，如果人們未能如期還款，或者缺乏借貸經(jīng)歷，他們就會自動被視為風(fēng)險人士，他們的貸款也就會被懲罰性地給以更高的利率。大數(shù)據(jù)征信應(yīng)用與啟示 wbr——以美國互聯(lián)網(wǎng)金融公司 wbrZestFinance為例傳統(tǒng)的信用評估模型雖然在進行信用風(fēng)險管理過程中發(fā)揮了很大的作用，如曾經(jīng)促進了美國房貸市場的飛速發(fā)展。另一方面，將能夠影響用戶信貸水平的其他因素也考慮在內(nèi)，如社交網(wǎng)絡(luò)信息、用戶申請信息等，從而實現(xiàn)了深度和廣度的高度融合。 最后，直接詢問用戶。最后，將每一個模型輸出的結(jié)論按照模型投票的原則，形成最終的信用分數(shù)。 （3）從關(guān)注的側(cè)重點來看，傳統(tǒng)的信用評估模型更關(guān)注授信對象的歷史信息，致力于深度挖掘。 （1）ZestFinance的大數(shù)據(jù)征信是完善和更新傳統(tǒng)征信系統(tǒng)的積極嘗試，而不是替代品。傳統(tǒng)的基于FICO的信用評估方法，處理的變量比較少，對每一個變量進行細致地處理，并且可以給出合適的解釋，模型的透明性可以方便地在銀行的不同部門之間進行溝通，而且便于個人消費者對分數(shù)的理解。國內(nèi)目前真正發(fā)揮作用的征信體系主要是央行的征信系統(tǒng)，所覆蓋的人群還是非常有限，遠遠低于美國征信體系對人口的85%的覆蓋。這些海量而且豐富的互聯(lián)網(wǎng)數(shù)據(jù)資源可以被國內(nèi)征信體系建設(shè)很好地利用，通過分析互聯(lián)網(wǎng)上這些信用主體的基本信息、交易行為信息和金融或經(jīng)濟關(guān)系信息，同樣可以挖掘出這些信用主體的信用模式。ZestFinance的未來發(fā)展方向是希望把其在這種發(fā)款日的貸款上的優(yōu)勢繼續(xù)拓展到其他貸款領(lǐng)域，包括信用卡、汽車的貸款，甚至包括房屋的貸款，在未來的10～15年，這一方法將取代現(xiàn)行指標(biāo)，成為申
環(huán)評公示相關(guān)推薦
鄂ICP備17016276號-1