【正文】 數(shù)據(jù)產(chǎn)業(yè)蓬勃發(fā)展， 2023年全球大數(shù)據(jù)產(chǎn)業(yè)市場規(guī)模為 1403億美元，預(yù)計到 2023年將達(dá)到 10270億美元。大數(shù)據(jù)行業(yè)的高速發(fā)展引起的巨大的數(shù)據(jù)存儲需求，將給傳統(tǒng) IT基礎(chǔ)設(shè)施架構(gòu)帶來巨大壓力，為帶來很大的發(fā)展機(jī)會。 ? 到 2023年，形成 50個大數(shù)據(jù)產(chǎn)業(yè)示范園區(qū)，引進(jìn)和培育100戶大數(shù)據(jù)龍頭企業(yè)，通過大數(shù)據(jù)帶動相關(guān)產(chǎn)業(yè)規(guī)模達(dá)20萬億元 。 粗略地講， 大數(shù)據(jù)是指在可容忍的時間內(nèi)無法用現(xiàn)有的信息技術(shù)和軟硬件工具對其進(jìn)行傳輸、存儲、計算與應(yīng)用等的數(shù)據(jù)集合 。 ? 數(shù)據(jù)量大（ Volume） 數(shù)據(jù)量大 。大數(shù)據(jù)的起始計量單位至少是 TB。 ? 類型繁多（ Variety） 數(shù)據(jù)類型繁多 。包括網(wǎng)絡(luò) 日志、音頻、視頻、圖片、地理位置信息 等 ,包括結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)，甚至包括非完整和錯誤數(shù)據(jù)?，F(xiàn)代互聯(lián)網(wǎng)上半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)所占比例已達(dá) 95%以上。 ? 價值密度低（ Value） 數(shù)據(jù)價值密度相對較低 。如隨著物聯(lián)網(wǎng)廣泛應(yīng)用，信息感知無處不在，信息海量，但價值密度較低，如何通過強(qiáng)大的機(jī)器算法更迅速地完成 數(shù)據(jù)價值“提純”，是大數(shù)據(jù)時代亟待解決的難題 。 ? 速度快時效高（ Velocity） 處理速度快，時效性要求高 。這是大數(shù)據(jù)區(qū)分于傳統(tǒng)數(shù)據(jù)挖掘最顯著的特征。 大數(shù)據(jù)的 4個特征 (4V) 1） 多源異構(gòu) ：描述同一主題的數(shù)據(jù)由不同的用戶、不同的網(wǎng)站產(chǎn)生。網(wǎng)絡(luò)數(shù)據(jù)有多種不同的呈現(xiàn)形式，如音視頻、圖片、文本等，導(dǎo)致網(wǎng)絡(luò)數(shù)據(jù)格式上的異構(gòu)性。 2） 交互性 ：不同于測量和傳感獲取的大規(guī)?？茖W(xué)數(shù)據(jù)，微博等社交網(wǎng)絡(luò)興起導(dǎo)至大量網(wǎng)絡(luò)數(shù)據(jù)具有很強(qiáng)的交互性。 3） 時效性 ：在網(wǎng)絡(luò)平臺上，每時每刻都有大量新的網(wǎng)絡(luò)數(shù)據(jù)發(fā)布，網(wǎng)絡(luò)信息內(nèi)容不斷變化，導(dǎo)致了信息傳播的時序相關(guān)性。 4） 社會性 ：網(wǎng)絡(luò)上用戶根據(jù)自己的需要和喜好發(fā)布、回復(fù)或轉(zhuǎn)發(fā)信息，因而網(wǎng)絡(luò)數(shù)據(jù)成了對社會狀態(tài)的直接反映。 5） 突發(fā)性 ：有些信息在傳播過程中會在短時間內(nèi)引起大量新的網(wǎng)絡(luò)數(shù)據(jù)與信息的產(chǎn)生，并使相關(guān)的網(wǎng)絡(luò)用戶形成網(wǎng)絡(luò)群體，體現(xiàn)出網(wǎng)絡(luò)大數(shù)據(jù)以及網(wǎng)絡(luò)群體的突發(fā)特性。 6） 高噪聲 ：網(wǎng)絡(luò)數(shù)據(jù)來自于眾多不同的網(wǎng)絡(luò)用戶，具有很高的噪聲。 網(wǎng)絡(luò)大數(shù)據(jù)的特點(diǎn) 二、大數(shù)據(jù)時代的思維變革 ，而是全體數(shù)據(jù) 更多 分析與某事物相關(guān)的所有數(shù)據(jù)，而不是依靠分析少數(shù)的樣本數(shù)據(jù)。 ? 以前許多結(jié)論都是由隨機(jī)樣本完成的，如：人口普查、電視節(jié)目收視率、美國大選的支持率等等 ? 隨機(jī)樣本仍然是一種有效的方法 ? 當(dāng)數(shù)據(jù)處理技術(shù)已經(jīng)發(fā)生翻天覆地的變化時，一切都改變了。我們需要的是所有的數(shù)據(jù)。 ? 樣本 =總體 2. 不是精確性，而是混雜性 更雜 執(zhí) 迷 于精確性是信息缺乏時代和模擬時代的產(chǎn)物。只有 5%的數(shù)據(jù)是結(jié)構(gòu)化且能適用傳統(tǒng)數(shù)據(jù)庫的。如果不接受混亂，剩下 95%的非結(jié)構(gòu)化數(shù)據(jù)都無法被利用， 只有接受不精確性，我們才能打開一扇從沒涉足的世界的窗戶 。 ? 允許不精確 ? 大 數(shù)據(jù)的簡單算法比小數(shù)據(jù)的復(fù)雜算法更有效 ? 大 數(shù)據(jù)不僅讓我們不再期望精確性，也讓我們無法實(shí)現(xiàn)精確性 ? 混雜 性，不是竭力避免，而是標(biāo)準(zhǔn)途徑 ? 不精確已經(jīng)滲入到數(shù)據(jù)庫這個不能容忍錯誤的領(lǐng)域，新的數(shù)據(jù)庫的誕生 非關(guān)系數(shù)據(jù)庫 ，而是相關(guān)關(guān)系 更好 知道“是什么”就夠了，沒必要知道“為什么”。在大數(shù)據(jù)時代，我們不必非要知道現(xiàn)象背后的原因，而是要 關(guān)注事物的相關(guān)關(guān)系 。 ?關(guān)聯(lián) 物，預(yù)測的關(guān)鍵 ?“是什么”而不是“為什么” ?改變，從操作方式開始 ?大 數(shù)據(jù)，改變?nèi)祟愄剿魇澜绲姆椒? ? 《 大數(shù)據(jù)時代 》 書中第一個例子： Google公司成功預(yù)報 2023年美國甲型 H1N1流感 。在網(wǎng)絡(luò)上收索特定的檢索詞，如“哪些是治療咳嗽和發(fā)熱的藥物”。檢測詞條的使用頻率、時間和空間的傳播關(guān)系。共處理 。預(yù)測結(jié)果與官方數(shù)據(jù)相關(guān)性高達(dá) 97%。而且，判斷非常及時，比疾控中心早 12周。 ? Google、百度、搜狗 等的搜索服務(wù)就是一個 典型的大數(shù)據(jù)運(yùn)用 ，根據(jù)客戶的需求，實(shí)時從全球海量的數(shù)字資產(chǎn)中快速找出最可能的答案，呈現(xiàn)給你，就是一個典型的大數(shù)據(jù)服務(wù)。 三、大數(shù)據(jù)的應(yīng)用 ? 一個父親有一個高中生女兒，接到一個促銷嬰兒用品的廣告，父親大怒，說商家無良。但過了兩個星期，他知道女兒確實(shí)懷孕了。 ? 你在網(wǎng)上搜索一個物品或買一個商品，網(wǎng)絡(luò)會記下你的需求，當(dāng)你以后再瀏覽網(wǎng)頁時，會自動向你推送一些相關(guān)產(chǎn)品。 ? 一 個炒股的故事。這個故事來自于 2023年好萊塢的一部高智商電影 《 永無止境 》 ，講述一位落魄的作家?guī)扃?，服用了一種可以迅速提升智力的神奇藍(lán)色藥物，然后他將這種高智商用于炒股。庫珀是怎么炒股的呢 ? 通過海量信息的挖掘、分析，使一切趨勢都在眼前 ，結(jié)果在 10天內(nèi)他就贏得了200萬美元， 神奇表現(xiàn) 讓 身邊職業(yè) 投資者目瞪口呆。 ? 微軟研究院 David Rothschid與 Office團(tuán)隊共同開發(fā)了一款 Excel軟件，用 大數(shù)據(jù)來預(yù)測 2023年奧斯卡獎 ，結(jié)果猜中了 24個獎項(xiàng)中的 19個。 ? 該網(wǎng)站還提供了 2023年美國大選的預(yù)測結(jié)果，根據(jù)目前的數(shù)據(jù)，民主黨的 希拉里 克林頓有望成為美國歷史上第一位女總統(tǒng) ，幾率為 32%。 ? 雅虎與社交網(wǎng)站 Tumblr及知名足球數(shù)據(jù)網(wǎng)站 OPTA合作預(yù)測2023年歐洲杯戰(zhàn)況。預(yù)測 德國 最終 1:0戰(zhàn)勝衛(wèi)冕冠軍西班牙。但實(shí)際上葡萄牙 1:0戰(zhàn)勝法國捧起德勞內(nèi)杯。 ? 智能電表用電統(tǒng)計。供電公司能每隔 15分鐘就讀一次用電數(shù)據(jù)，而不是過去的一月一次。這不僅僅節(jié)省了抄表的人工費(fèi)用，而且由于能 高頻率快速采集分析用電數(shù)據(jù)（產(chǎn)生大數(shù)據(jù) ），供電公司能根據(jù)用電高峰和低谷時段制定不同的電價，利用這種價格杠桿來平抑用電高峰和低谷的波動幅度。 四、大數(shù)據(jù)帶來的負(fù)面作用 ? 大數(shù)據(jù)與個人隱私 科技 本來就是一支雙刃劍，關(guān)鍵是誰用和如何用 。大數(shù)據(jù)也是一樣。在 微信、微博等社會大數(shù)據(jù)之下如何保護(hù)個人隱私的問題 ， 我們的手機(jī)號碼，個人信息已成為大數(shù)據(jù)的一分子 。如何保護(hù)個人？如何防止 有人利用大數(shù)據(jù)技術(shù)進(jìn)行人身攻擊 。