【正文】 數(shù)據(jù)產(chǎn)業(yè)蓬勃發(fā)展， 2023年全球大數(shù)據(jù)產(chǎn)業(yè)市場規(guī)模為 1403億美元，預計到 2023年將達到 10270億美元。大數(shù)據(jù)行業(yè)的高速發(fā)展引起的巨大的數(shù)據(jù)存儲需求，將給傳統(tǒng) IT基礎設施架構帶來巨大壓力，為帶來很大的發(fā)展機會。 ? 到 2023年，形成 50個大數(shù)據(jù)產(chǎn)業(yè)示范園區(qū)，引進和培育100戶大數(shù)據(jù)龍頭企業(yè)，通過大數(shù)據(jù)帶動相關產(chǎn)業(yè)規(guī)模達20萬億元 。 粗略地講， 大數(shù)據(jù)是指在可容忍的時間內(nèi)無法用現(xiàn)有的信息技術和軟硬件工具對其進行傳輸、存儲、計算與應用等的數(shù)據(jù)集合 。 ? 數(shù)據(jù)量大（ Volume） 數(shù)據(jù)量大 。大數(shù)據(jù)的起始計量單位至少是 TB。 ? 類型繁多（ Variety） 數(shù)據(jù)類型繁多 。包括網(wǎng)絡 日志、音頻、視頻、圖片、地理位置信息 等 ,包括結構化、半結構化和非結構化數(shù)據(jù)，甚至包括非完整和錯誤數(shù)據(jù)。現(xiàn)代互聯(lián)網(wǎng)上半結構化和非結構化數(shù)據(jù)所占比例已達 95%以上。 ? 價值密度低（ Value） 數(shù)據(jù)價值密度相對較低 。如隨著物聯(lián)網(wǎng)廣泛應用，信息感知無處不在，信息海量，但價值密度較低，如何通過強大的機器算法更迅速地完成 數(shù)據(jù)價值“提純”，是大數(shù)據(jù)時代亟待解決的難題 。 ? 速度快時效高（ Velocity） 處理速度快，時效性要求高 。這是大數(shù)據(jù)區(qū)分于傳統(tǒng)數(shù)據(jù)挖掘最顯著的特征。 大數(shù)據(jù)的 4個特征 (4V) 1） 多源異構 ：描述同一主題的數(shù)據(jù)由不同的用戶、不同的網(wǎng)站產(chǎn)生。網(wǎng)絡數(shù)據(jù)有多種不同的呈現(xiàn)形式，如音視頻、圖片、文本等，導致網(wǎng)絡數(shù)據(jù)格式上的異構性。 2） 交互性 ：不同于測量和傳感獲取的大規(guī)?？茖W數(shù)據(jù)，微博等社交網(wǎng)絡興起導至大量網(wǎng)絡數(shù)據(jù)具有很強的交互性。 3） 時效性 ：在網(wǎng)絡平臺上，每時每刻都有大量新的網(wǎng)絡數(shù)據(jù)發(fā)布，網(wǎng)絡信息內(nèi)容不斷變化，導致了信息傳播的時序相關性。 4） 社會性 ：網(wǎng)絡上用戶根據(jù)自己的需要和喜好發(fā)布、回復或轉(zhuǎn)發(fā)信息，因而網(wǎng)絡數(shù)據(jù)成了對社會狀態(tài)的直接反映。 5） 突發(fā)性 ：有些信息在傳播過程中會在短時間內(nèi)引起大量新的網(wǎng)絡數(shù)據(jù)與信息的產(chǎn)生，并使相關的網(wǎng)絡用戶形成網(wǎng)絡群體，體現(xiàn)出網(wǎng)絡大數(shù)據(jù)以及網(wǎng)絡群體的突發(fā)特性。 6） 高噪聲 ：網(wǎng)絡數(shù)據(jù)來自于眾多不同的網(wǎng)絡用戶，具有很高的噪聲。 網(wǎng)絡大數(shù)據(jù)的特點 二、大數(shù)據(jù)時代的思維變革 ，而是全體數(shù)據(jù) 更多 分析與某事物相關的所有數(shù)據(jù)，而不是依靠分析少數(shù)的樣本數(shù)據(jù)。 ? 以前許多結論都是由隨機樣本完成的，如：人口普查、電視節(jié)目收視率、美國大選的支持率等等 ? 隨機樣本仍然是一種有效的方法 ? 當數(shù)據(jù)處理技術已經(jīng)發(fā)生翻天覆地的變化時，一切都改變了。我們需要的是所有的數(shù)據(jù)。 ? 樣本 =總體 2. 不是精確性，而是混雜性 更雜 執(zhí) 迷 于精確性是信息缺乏時代和模擬時代的產(chǎn)物。只有 5%的數(shù)據(jù)是結構化且能適用傳統(tǒng)數(shù)據(jù)庫的。如果不接受混亂，剩下 95%的非結構化數(shù)據(jù)都無法被利用， 只有接受不精確性，我們才能打開一扇從沒涉足的世界的窗戶 。 ? 允許不精確 ? 大 數(shù)據(jù)的簡單算法比小數(shù)據(jù)的復雜算法更有效 ? 大 數(shù)據(jù)不僅讓我們不再期望精確性，也讓我們無法實現(xiàn)精確性 ? 混雜 性，不是竭力避免，而是標準途徑 ? 不精確已經(jīng)滲入到數(shù)據(jù)庫這個不能容忍錯誤的領域，新的數(shù)據(jù)庫的誕生 非關系數(shù)據(jù)庫 ，而是相關關系 更好 知道“是什么”就夠了，沒必要知道“為什么”。在大數(shù)據(jù)時代，我們不必非要知道現(xiàn)象背后的原因，而是要 關注事物的相關關系 。 ?關聯(lián) 物，預測的關鍵 ?“是什么”而不是“為什么” ?改變，從操作方式開始 ?大 數(shù)據(jù)，改變?nèi)祟愄剿魇澜绲姆椒? ? 《 大數(shù)據(jù)時代 》 書中第一個例子： Google公司成功預報 2023年美國甲型 H1N1流感 。在網(wǎng)絡上收索特定的檢索詞，如“哪些是治療咳嗽和發(fā)熱的藥物”。檢測詞條的使用頻率、時間和空間的傳播關系。共處理 。預測結果與官方數(shù)據(jù)相關性高達 97%。而且，判斷非常及時，比疾控中心早 12周。 ? Google、百度、搜狗 等的搜索服務就是一個 典型的大數(shù)據(jù)運用 ，根據(jù)客戶的需求，實時從全球海量的數(shù)字資產(chǎn)中快速找出最可能的答案，呈現(xiàn)給你，就是一個典型的大數(shù)據(jù)服務。 三、大數(shù)據(jù)的應用 ? 一個父親有一個高中生女兒，接到一個促銷嬰兒用品的廣告，父親大怒，說商家無良。但過了兩個星期，他知道女兒確實懷孕了。 ? 你在網(wǎng)上搜索一個物品或買一個商品，網(wǎng)絡會記下你的需求，當你以后再瀏覽網(wǎng)頁時，會自動向你推送一些相關產(chǎn)品。 ? 一 個炒股的故事。這個故事來自于 2023年好萊塢的一部高智商電影 《 永無止境 》 ，講述一位落魄的作家?guī)扃?，服用了一種可以迅速提升智力的神奇藍色藥物，然后他將這種高智商用于炒股。庫珀是怎么炒股的呢 ? 通過海量信息的挖掘、分析，使一切趨勢都在眼前 ，結果在 10天內(nèi)他就贏得了200萬美元， 神奇表現(xiàn) 讓 身邊職業(yè) 投資者目瞪口呆。 ? 微軟研究院 David Rothschid與 Office團隊共同開發(fā)了一款 Excel軟件，用 大數(shù)據(jù)來預測 2023年奧斯卡獎 ，結果猜中了 24個獎項中的 19個。 ? 該網(wǎng)站還提供了 2023年美國大選的預測結果，根據(jù)目前的數(shù)據(jù)，民主黨的 希拉里 克林頓有望成為美國歷史上第一位女總統(tǒng) ，幾率為 32%。 ? 雅虎與社交網(wǎng)站 Tumblr及知名足球數(shù)據(jù)網(wǎng)站 OPTA合作預測2023年歐洲杯戰(zhàn)況。預測 德國 最終 1:0戰(zhàn)勝衛(wèi)冕冠軍西班牙。但實際上葡萄牙 1:0戰(zhàn)勝法國捧起德勞內(nèi)杯。 ? 智能電表用電統(tǒng)計。供電公司能每隔 15分鐘就讀一次用電數(shù)據(jù)，而不是過去的一月一次。這不僅僅節(jié)省了抄表的人工費用，而且由于能 高頻率快速采集分析用電數(shù)據(jù)（產(chǎn)生大數(shù)據(jù) ），供電公司能根據(jù)用電高峰和低谷時段制定不同的電價，利用這種價格杠桿來平抑用電高峰和低谷的波動幅度。 四、大數(shù)據(jù)帶來的負面作用 ? 大數(shù)據(jù)與個人隱私 科技 本來就是一支雙刃劍，關鍵是誰用和如何用 。大數(shù)據(jù)也是一樣。在 微信、微博等社會大數(shù)據(jù)之下如何保護個人隱私的問題 ， 我們的手機號碼，個人信息已成為大數(shù)據(jù)的一分子 。如何保護個人？如何防止 有人利用大數(shù)據(jù)技術進行人身攻擊 。