讀大數(shù)據(jù)時(shí)代心得體會(huì)(編輯修改稿)
2024-10-18 00:06 本頁(yè)面
【文章內(nèi)容簡(jiǎn)介】 研究，這樣出來(lái)的技術(shù)才可能是完美的成熟的。要發(fā)展好大數(shù)據(jù)，要利用大數(shù)據(jù)創(chuàng)造的價(jià)值，就要改變管理的思維方式，變革管理模式。運(yùn)用大數(shù)據(jù)的企業(yè)要改變，研究開發(fā)大數(shù)據(jù)的企業(yè)也要改變。維克托〃爾耶〃舍恩伯格在《大數(shù)據(jù)時(shí)代:生活、工作與思維的大變革》中最具洞見(jiàn)之處在于，他明確指出，大數(shù)據(jù)時(shí)代最大的轉(zhuǎn)變就是，放棄對(duì)因果關(guān)系的渴求，而取而代之關(guān)注相關(guān)關(guān)系。也就是說(shuō)只要知道?是什么?，而不需要知道?為什么?。這顛覆了千百年來(lái)人類的思維慣例，對(duì)人類的認(rèn)知和與世界交流的方式提出了全新的挑戰(zhàn)。對(duì)于大數(shù)據(jù)（Big Data）的應(yīng)用，并不是他不想證明因果關(guān)系，而是并不能證明因果關(guān)系。由于大數(shù)據(jù)的收集方法和分析方法，在于把所有能收集的數(shù)據(jù)都收集，再集中分析，這種研究方法是缺乏時(shí)效性（temporality）的，所以，他并不能證明因果關(guān)系，只可以說(shuō)明兩者的相關(guān)關(guān)系?？墒?，對(duì)于事物發(fā)展的預(yù)測(cè)，有時(shí)，影響因素成千上萬(wàn)，解釋的理論更加是多如牛毛。大數(shù)據(jù)改造了我們的生活，它能優(yōu)化、提高、高效化并最終捕捉住利益，那直覺(jué)、信仰、不確定性和創(chuàng)意還能扮演什么角色呢？就算大數(shù)據(jù)無(wú)法教會(huì)我們所有事情，只要能幫助我們表現(xiàn)更佳、更富效率、取得進(jìn)步，就算缺乏深入理解也是很有用的了。一貫如是地堅(jiān)持下去才有效力。即使你不明白為什么付出的努力得不到回報(bào)，但相比不努力，你要明白你已經(jīng)在改善事情的結(jié)局了。有時(shí)候，當(dāng)我們掌握了大量新型數(shù)據(jù)時(shí)，精確性就不那么重要了，我們同樣可以掌握事情的發(fā)展趨勢(shì)。大數(shù)據(jù)不僅讓我們不再期待精確性，也讓我們無(wú)法實(shí)現(xiàn)精確性。然而，除了一開始會(huì)與我們的直覺(jué)相矛盾之外，接受數(shù)據(jù)的不精確和不完美，我們反而能夠更好地進(jìn)行預(yù)測(cè)，也能夠更好地理解這個(gè)世界。大數(shù)據(jù)并不是一個(gè)充斥著運(yùn)算法則和機(jī)器的冰冷世界，其中仍需要人類扮演重要角色。人類獨(dú)有的弱點(diǎn)、錯(cuò)覺(jué)、錯(cuò)誤都是十分必要的，因?yàn)檫@些特性的另一頭牽著的是人類的創(chuàng)造力、直覺(jué)和天賦。偶爾也會(huì)帶來(lái)屈辱或固執(zhí)的同樣混亂的大腦運(yùn)作，也能帶來(lái)成功，或在偶然間促成我們的偉大。這提示我們應(yīng)該樂(lè)于接受類似的不準(zhǔn)確，因?yàn)椴粶?zhǔn)確正是我們之所以為人的特征之一。以上就是我的一些感悟，在大數(shù)據(jù)時(shí)代的背景下，我們應(yīng)該看到其更深層次的東西，抓住機(jī)遇迎接挑戰(zhàn)，不斷進(jìn)步。摘錄部分：下面摘錄一部分我在知乎上看到的關(guān)于《大數(shù)據(jù)時(shí)代》的討論，網(wǎng)友提出的質(zhì)疑同樣值得我們深思。作者：AndyHsu來(lái)源：知乎鏈接：《大數(shù)據(jù)時(shí)代：生活、工作、思維的大變革》。我看推薦說(shuō)這是?迄今為止最好的一本大數(shù)據(jù)專著?。目前公司在搞Hadoop、大數(shù)據(jù)應(yīng)用，外面各類零碎的資料也非常多，那么想我應(yīng)該去看一下這?最好?的專著吧。一、主要觀點(diǎn)上可以探討的地方作者提出了關(guān)于大數(shù)據(jù)的?擲地有聲?的三個(gè)原則。這三個(gè)原則凡講大數(shù)據(jù)必被提及，很多人奉為圭臬。但是我覺(jué)得每一點(diǎn)都值得探討。這三點(diǎn)分別是：不是隨機(jī)樣本，而是全體數(shù)據(jù)；不是精確性，而是混雜性；不是因果關(guān)系，而是相關(guān)關(guān)系?？赐曛蟾杏X(jué)都有點(diǎn)不是那么回事。，而是全體數(shù)據(jù)這個(gè)說(shuō)得好像人類從來(lái)就不知道使用全體數(shù)據(jù)可以得到更全面的結(jié)論，而非要去煞費(fèi)苦心發(fā)展出一套抽樣技術(shù)一樣。人類早就知道處理全量數(shù)據(jù)的好處，而之所以要進(jìn)行抽樣分析，原因不外乎兩點(diǎn)：一是處理能力跟不上，二是數(shù)據(jù)收集能力跟不上。作者認(rèn)為人類之前主要受限于數(shù)據(jù)的處理能力而不去處理全量數(shù)據(jù)，但在目前機(jī)器處理能力有了巨大的提升的時(shí)代，限制絕大多數(shù)應(yīng)用的瓶頸不是計(jì)算能力而是數(shù)據(jù)采集能力（不要去提那些極少數(shù)需要超級(jí)計(jì)算機(jī)的場(chǎng)合，那個(gè)和多數(shù)人無(wú)關(guān)、和本書的商業(yè)主題也無(wú)關(guān)）。但是即便如此，抽樣所要針對(duì)的很多應(yīng)用場(chǎng)景是不太可能收集全量數(shù)據(jù)的情況。比如人口普查，無(wú)論計(jì)算機(jī)力量如何強(qiáng)大，當(dāng)前很多數(shù)據(jù)還是要人工去收集，所以這個(gè)普查還是要用抽樣的方式。有意思的是，作者用人口普查是抽樣分析來(lái)說(shuō)明非?全量?時(shí)代我們被迫采用了抽樣，而最終也沒(méi)法說(shuō)我們是否已經(jīng)可以用全量數(shù)據(jù)來(lái)做人口普查了。實(shí)際上至少在目前，對(duì)于人口普查，抽樣還是必然的選擇（嗯，你可以設(shè)想，以后人人都裝一塊芯片，你可以在你的PPT里講給你的客戶和老板聽(tīng)）。再比如我們統(tǒng)計(jì)里的經(jīng)典問(wèn)題：怎么估算一批零件的使用壽命？怎么去分析一批奶品里的三聚氰胺？以前我們不可能去做全量測(cè)試，因?yàn)檫@意味著這批零件就廢了，這批奶也全部用于測(cè)試了，這樣測(cè)出結(jié)果也沒(méi)啥意義了（嗯，你也可以說(shuō)：我我們?nèi)ナ占瘹v史上所有此類零件的使用情況來(lái)進(jìn)行分析吧.....嗯，加油吧，雄心勃勃的騷年）?，F(xiàn)在 ？我們還是必須依賴抽樣，是必須。即便不提這些例子，僅從邏輯而言：收集、處理數(shù)據(jù)的行為本身也在不斷產(chǎn)生著新的數(shù)據(jù)。我們又怎么證明這些數(shù)據(jù)不是你需要的?全量?的一部分呢？作者的行文中，關(guān)于什么是?全量?，處于不斷的搖擺之中。有時(shí)指?我們需要的所有數(shù)據(jù)?，有時(shí)指?我們能收集到的所有數(shù)據(jù)?。作者舉了人口普查的例子，這個(gè)全量顯然指前者。而在很多商業(yè)案例中，又顯然指后者。我們有能力處理越來(lái)越多的、在以前不敢想象的大量數(shù)據(jù)，但是至少目前看，我們還沒(méi)可能說(shuō)我們處理了?全量?。我們最多可以說(shuō)我們能處理我們能搜集到的?全量?，但如果據(jù)此產(chǎn)生了我們已經(jīng)沒(méi)有遺漏數(shù)據(jù)了的感覺(jué)，認(rèn)為所有數(shù)據(jù)盡在掌握了，那我認(rèn)為是一種很可能導(dǎo)致錯(cuò)誤的錯(cuò)覺(jué)。，而是混雜性這個(gè)么，說(shuō)得好像以前的人類在使用?抽樣?數(shù)據(jù)時(shí)竟然都認(rèn)為取到的數(shù)據(jù)是?精確?的一樣。在使用抽樣數(shù)據(jù)的時(shí)候，我們就知道要容忍一定的誤差。我們甚至知道在就算取得了?全樣?數(shù)據(jù)的時(shí)候，也可能因?yàn)橛懈鞣N原因而導(dǎo)致的不精確，統(tǒng)計(jì)實(shí)踐
環(huán)評(píng)公示相關(guān)推薦
鄂ICP備17016276號(hào)-1