【正文】 行管理。其技術特點是為了解決復雜問題，將大的任務分解為多個小任務，通過讓多個處理器或多個計算機節(jié)點參與計算來解決問題。蟄彎擼鯁棖佇緡癟槧贊瀅勁豬鸞頗龔。分布式文件系統(tǒng)能夠支持多臺主機通過網絡同時訪問共享文件和存儲目錄，使多臺計算機上的多個用戶共享文件和存儲資源。分布式文件系統(tǒng)架構更適用于互聯(lián)網應用，能夠更好地支持海量數(shù)據(jù)的存儲和處理?；谛乱淮植际接嬎愕募軜嫼芸赡艹蔀槲磥碇饕幕ヂ?lián)網計算架構之一。義淨擁捫毆脅紙窺鈑鳧剝贛噓癱領繳。目前典型的分布式文件系統(tǒng)產品有（ 文件系統(tǒng)）、（分布式文件系統(tǒng)）等。綏驊懸縉澀鷂禍紳撻糧錛湯隨鐒預鶻。）數(shù)據(jù)倉庫傳統(tǒng)數(shù)據(jù)庫并非專為數(shù)據(jù)分析而設計，數(shù)據(jù)倉庫專用設備的興起，表明面向事務性處理的傳統(tǒng)數(shù)據(jù)庫和面向分析的分析型數(shù)據(jù)庫走向分離。饅鎖開鑰燜緒玨編軻錙薈馴譯態(tài)頏纜。數(shù)據(jù)倉庫專用設備，一般會采用軟硬一體的方式。這類數(shù)據(jù)庫采用更適于數(shù)據(jù)查詢的技術，以列式存儲或（大規(guī)模并行處理）技術為代表。數(shù)據(jù)倉庫適合于存儲關系復雜的數(shù)據(jù)模型（例如企業(yè)核心業(yè)務數(shù)據(jù)），適合進行一致性與事務性要求高的計算，以及復雜的（商業(yè)智能）計算。在數(shù)據(jù)倉庫中，經常使用數(shù)據(jù)溫度技術、存儲訪問技術來提高性能。獄質嶇僅痺鮚潰脫幀開樣藶獅訝頌鳩。.列式存儲對于圖像、視頻、地理位置等類型多樣的數(shù)據(jù)，難以用傳統(tǒng)的結構化方式描述，因此需要使用由多維表組成的面向列存儲的數(shù)據(jù)管理系統(tǒng)來組織和管理數(shù)據(jù)。列式存儲將數(shù)據(jù)按行排序，按列存儲，將相同字段的數(shù)據(jù)作為一個列族來聚合存儲。當只查詢少數(shù)列族數(shù)據(jù)時，列式數(shù)據(jù)庫可以減少讀取數(shù)據(jù)量，減少數(shù)據(jù)裝載和讀入讀出的時間，提高數(shù)據(jù)處理效率。按列存儲還可以承載更大的數(shù)據(jù)量，獲得高效的垂直數(shù)據(jù)壓縮能力，降低數(shù)據(jù)存儲開銷。鍥莧娛殫穢籩殤蕢謬蘚龍孌囀齬頒給。.數(shù)據(jù)溫度技術數(shù)據(jù)溫度技術可以提高數(shù)據(jù)訪問性能，區(qū)分經常被訪問和很少被訪問的數(shù)據(jù)。經常訪問的是高溫數(shù)據(jù)，這類數(shù)據(jù)存儲在高速存儲區(qū)，訪問路徑會非常直接，而低溫數(shù)據(jù)則可以放在非高速存儲區(qū)，訪問路徑也相對復雜。雜磚墳雖紜飯曇覡墾騾釋鈁陸稈頎鰱。.存儲訪問技術近兩年，存儲訪問技術不斷變化，例如固態(tài)硬盤數(shù)據(jù)倉庫，用接近閃存的性能訪問數(shù)據(jù)，比原來在磁盤上順序讀取數(shù)據(jù)快很多。內存數(shù)據(jù)庫產品，在數(shù)據(jù)庫管理系統(tǒng)軟件上進行優(yōu)化，規(guī)避傳統(tǒng)數(shù)據(jù)庫（數(shù)據(jù)倉庫）讀取數(shù)據(jù)時的磁盤操作，節(jié)省訪問時間。軾梔嗶鑊繃瘍懔諍訝澤緇瑤詐鍍顧纊。）非關系型數(shù)據(jù)庫技術（）相比傳統(tǒng)關系型數(shù)據(jù)庫，數(shù)據(jù)庫發(fā)展的原因是數(shù)據(jù)作用域發(fā)生了改變，不再是整數(shù)和浮點等原始的數(shù)據(jù)類型，數(shù)據(jù)已經成為一個完整的文件。這對數(shù)據(jù)庫技術提出了新的要求，要求能夠對數(shù)據(jù)庫進行高并發(fā)讀寫、高效率存儲和訪問，要求數(shù)據(jù)庫具有高可擴展性和高可用性，并具有較低成本。使得數(shù)據(jù)庫具備了非關系、可水平擴展、可分布和開源等特點，為非結構化數(shù)據(jù)管理提供支持。目前數(shù)據(jù)庫技術大多應用于互聯(lián)網行業(yè)。尋頭厭嗆羈陰帥讕匭贊憤鶉犢摶頑騭。）面向服務的體系結構（）（ ，面向服務的體系結構）是近年來軟件規(guī)劃和構建的一種新方法，以“服務”為基本元素和核心。最早由國際咨詢機構公司于年提出，年以后成為我國軟件產業(yè)界關注的重點，并得到眾多行業(yè)的廣泛應用。是大數(shù)據(jù)的重要支撐技術，通過“服務”的方式支撐實現(xiàn)大數(shù)據(jù)的跨系統(tǒng)匯聚、共享、交換、分析、管理和訪問。我國在廣泛應用實踐的基礎上推動了標準化工作，形成了支撐各類應用的服務技術架構系列標準，并在智慧城市、電子政務等眾多信息化領域取得了成功實踐，具備了支撐大數(shù)據(jù)發(fā)展的良好基礎。訪齙剛璽蘇濫夾趕螢憑鮚訥嚌誘頊筆。）框架是一個軟件架構，用于大規(guī)模數(shù)據(jù)集（大于）的并行運算?？蚣苁堑暮诵?，但是除了，上還可以有（列數(shù)據(jù)庫）或。寫韞僂諶虛鍤囈辮褻糝賡戧闐傷須餾。當處理一個大數(shù)據(jù)集查詢時，會將任務分解并在運行的多個節(jié)點處理。當數(shù)據(jù)量很大時，一臺服務器無法滿足需求，分布式計算優(yōu)勢體現(xiàn)出來。有將任務分發(fā)到多個服務器上處理大數(shù)據(jù)的能力。（ ）的重要內容就是對于分布式計算，每個服務器都具備對數(shù)據(jù)的訪問能力。羆醬畝餅謄歿湊鈑繳錙穡鐠設縶項磽。與的結合，使得在處理大數(shù)據(jù)的過程中計算性能得到保障。當集群中的服務器出現(xiàn)錯誤時，整個計算過程不會終止；同時 可保障在整個集群中發(fā)生故障錯誤時的數(shù)據(jù)冗余；當計算完成時將結果寫入的一個節(jié)點之中。對存儲的數(shù)據(jù)格式并無苛刻的要求，數(shù)據(jù)可以是非結構化或其它類別。鰱診齡師該鈴書銨鴇開孫紗熱悶頇顰。是框架的一個典型的應用。的可靠性是因為它假設計算元素和存儲會失敗，因此維護多個工作數(shù)據(jù)副本，確保能夠針對失敗的節(jié)點重新分布處理；高效性是因為它以并行的方式工作，通過并行處理加快處理速度；還是可伸縮的，能夠處理 級數(shù)據(jù)。磚緙鵝綱謾擻鴻鑌紙?zhí)\頦湊響攛頃痺。 ）數(shù)據(jù)挖掘和分析大數(shù)據(jù)只有通過分析才能獲取很多智能的、深入的、有價值的信息。越來越多的應用涉及到大數(shù)據(jù)，而這些大數(shù)據(jù)的屬性與特征，包括數(shù)量、速度、多樣性等都是呈現(xiàn)了不斷增長的復雜性，所以大數(shù)據(jù)的分析方法就顯得尤為重要，可以說是數(shù)據(jù)資源是否具有價值的決定性因素。鬮煒鰭輥賠還魴隊駝騾詭貲閻譾頂頂。大數(shù)據(jù)分析的理論核心就是數(shù)據(jù)挖掘，各種數(shù)據(jù)挖掘算法基于不同的數(shù)據(jù)類型和格式，可以更加科學地呈現(xiàn)出數(shù)據(jù)本身具備的特點，正是因為這些公認的統(tǒng)計方法使得深入數(shù)據(jù)內部、挖掘價值成為可能。另一方面，也是基于這些數(shù)據(jù)挖掘算法才能更快速的處理大數(shù)據(jù)。畢懍鲅鵑較惻飾顳矯涇煥櫫詎凈頁獼。大數(shù)據(jù)分析的使用者有大數(shù)據(jù)分析專家，同時還有普通用戶，二者對于大數(shù)據(jù)分析最基本的要求是可視化?？梢暬治瞿軌蛑庇^地呈現(xiàn)大數(shù)據(jù)特點，同時能夠非常容易被使用者所接受。釓歷駕無醬賠雋驍韉贈三飯燭絕韜闔。大數(shù)據(jù)分析離不開數(shù)據(jù)質量和數(shù)據(jù)管理，高質量的數(shù)據(jù)和有效的數(shù)據(jù)管理，無論是在學術研究還是在商業(yè)應用領域，都能夠保證分析結果的真實和有價值。徠鰹飲臉鑠嘗鏍鯢煬憑鑌脈嚦霽韞燉。數(shù)據(jù)挖掘和分析的相關方法如下：——神經網絡方法。神經網絡具有良好的魯棒性、自組織自適應性、并行處理、分布存儲和高度容錯等特性，非常適合解決數(shù)據(jù)挖掘的問題，用于分類、預測和模式識別的前饋式神經網絡模型；以的離散模型和連續(xù)模型為代表，分別用于聯(lián)想記憶和優(yōu)化計算的反饋式神經網絡模型；以模型、模型為代表，用于聚類的自組織映射方法。神經網絡方法的缺點是黑箱性，人們難以理解網絡的學習和決策過程。謂鑷頗銨鋃誼鉸鸚鎘糝蘞堝鬮棲韙閂?！z傳算法。遺傳算法是一種基于生物自然選擇與遺傳機理的隨機搜索算法，是一種仿生全局優(yōu)化方法。遺傳算法具有的隱含并行性、易于和其它模型結合等性質，使它在數(shù)據(jù)挖掘中被廣泛應用。遺傳算法的應用還體現(xiàn)在與神經網絡、粗集等技術的結合上，如利用遺傳算法優(yōu)化神經網絡結構，在不增加錯誤率的前提下，刪除多余的連接和隱層單元；用遺傳算法和算法結合訓練神經網絡，然后從網絡提取規(guī)則等。變趙隉涼鐓囑釧億殮錙殘釔訕賚韓漬?！獩Q策樹方法。決策樹是一種常用于預測模型的算法，它通過將大量數(shù)據(jù)有目的地分類，從中找到一些有價值的、潛在的信息。主要優(yōu)點是描述簡單、分類速度快、特別適合大規(guī)模的數(shù)據(jù)處理。最有影響和最早的決策樹方法是由提出的著名的基于信息熵的算法。薈鎣閌漸陸訃輊減鈿異儀猶燉歷韋鎂。——粗集方法。粗集理論是一種研究不精確、不確定知識的數(shù)學工具。粗集方法有幾個優(yōu)點：不需要給出額外信息；簡化輸入信息的表達空間；算法簡單，易于操作。粗集處理的對象是類似二維關系表的信息表。鵬篩鎬討顓辦費嘆攝虜鈺鴆噸縛韉淚?！采w正例排斥反例方法。利用覆蓋所有正例、排斥所有反例的思想來尋找規(guī)則。首先在正例集合中任選一個種子，到反例集合中逐個比較。與字段取值構成的選擇子相容則舍去，相反則保留。按此思想循環(huán)所有正例種子，將得到正例的規(guī)則(選擇子的合取式)。糝殞鋦雋駛鶯諑壚輻驄繚覿聞顰韃銼?！y(tǒng)計分析方法。在數(shù)據(jù)庫字段項之間存在兩種關系：函數(shù)關系和相關關系，對它們的分析可采用統(tǒng)計學方法。對它們可進行常用統(tǒng)計分析、回歸分析、相關分析、差異分析等。頜層銖壺鮮儀計堯當涇撓惡訂氌靨櫥?！：椒ā＠媚：侠碚搶嶋H問題進行模糊評判、模糊決策、模糊模式識別和模糊聚類分析。系統(tǒng)的復雜性越高，模糊性越強，一般模糊集合理論是用隸屬度來刻畫模糊事物的亦此亦彼性的。李德毅院士在傳統(tǒng)模糊理論和概率統(tǒng)計的基礎上，提出了定性定量不確定性轉換模型云模型，并形成了云理論。滾傴鈕碩鷙聳蔣憶貯贈鰾鍍?yōu)Z靜銅。）內存計算內存計算（ ），實質上是直接從內存而非硬盤上讀取數(shù)據(jù)，并對數(shù)據(jù)進行計算、分析。此項技術是對傳統(tǒng)數(shù)據(jù)處理方式的一種加速，是實現(xiàn)商務智能中海量數(shù)據(jù)分析和實施數(shù)據(jù)分析的關鍵應用技術。銑饜醞貽龍鵠臚擰奧憑軌簍敘嘮靄標。內存計算適合處理海量的數(shù)據(jù)，以及需要實時獲得結果的數(shù)據(jù)。比如可以將一個企業(yè)近十年幾乎所有的財務、營銷、市場等各方面的數(shù)據(jù)一次性地保存在內存里，并在此基礎上進行數(shù)據(jù)分析。當企業(yè)需要做快速的賬務分析，或要對市場進行分析時，內存計算能夠快速地按照需求完成。內存相對于磁盤，其讀寫速度要快很多倍。內存計算可以模擬一些數(shù)據(jù)分析的結果，實現(xiàn)對市場未來發(fā)展的預測，如需求性建模、航空天氣預測、零售商品銷量預測、產品定價策略等。撾鉬轍魘僑絢綰來誄緊糞償閑勝霽鈁。)流處理技術在大數(shù)據(jù)時代，數(shù)據(jù)的增長速度超過了存儲容量的增長，在不遠的將來，人們將無法存儲所有的數(shù)據(jù)，同時，數(shù)據(jù)的價值會隨著時間的流逝而不斷減少，此外，很多數(shù)據(jù)涉及用戶的隱私無法進行存儲。對數(shù)據(jù)進行實時處理的流處理獲得了人們越來越多的關注。賒調軋憊劌髖糾殯縣鍥峽貢覯駔霧齋。數(shù)據(jù)的實時處理是一個很有挑戰(zhàn)性的工作，數(shù)據(jù)流本身具有持續(xù)達到、速度快且規(guī)模巨大等特點，因此通常不會對所有的數(shù)據(jù)進行永久化存儲，而且數(shù)據(jù)環(huán)境處在不斷的變化之中，系統(tǒng)很難準確掌握整個數(shù)據(jù)的全貌。由于響應時間的要求，流處理的過程基本在內存中完成，其處理方式更多地依賴于在內存中設計巧妙的概要數(shù)據(jù)結構( )，內存容量是限制流處理模型的一個主要瓶頸。以(相變存儲器)為代表的( ，儲存級內存)設備的出現(xiàn)或許可以使內存未來不再成為流處理模型的制約。壘羥贖緙嘸竅碭瀋虯異飽樣瀠漲靂醞。數(shù)據(jù)流的理論及技術研究已經有十幾年的歷史，目前仍舊是研究熱點。當前得到廣泛應用的很多系統(tǒng)多數(shù)為支持分布式、并行處理的流處理系統(tǒng)，比較代表性的商用軟件包括的和 ，開源系統(tǒng)則包括 的、的等。釁璉貢釙壘颯狽猙偵虜諶顆廚邇雛挾。 大數(shù)據(jù)安全與隱私與當前其他的信息一樣，大數(shù)據(jù)在存儲、處理和傳輸?shù)冗^程中面臨安全風險，具有數(shù)據(jù)安全與隱私保護需求。而實現(xiàn)大數(shù)據(jù)安全與隱私保護，較以往其他安全問題更為棘手，因為，在大數(shù)據(jù)背景下，這些大數(shù)據(jù)運營商既是數(shù)據(jù)的生產者，又是數(shù)據(jù)的存儲、管理者和使用者，因此，單純通過技術手段限制商家對用戶信息的使用，實現(xiàn)用戶數(shù)據(jù)安全和隱私保護是極其困難的。大數(shù)據(jù)收集了各種來源、各種類型的數(shù)據(jù)，其中包含了很多和用戶隱私相關的信息。大量事實表明，大數(shù)據(jù)未能妥善處理會對用戶的隱私造成極大的侵害。很多時候人們有意識地將自己的行為隱藏起來，試圖達到隱私保護的目的，但是，在大數(shù)據(jù)環(huán)境下，我們可以通過用戶零散數(shù)據(jù)之間的關聯(lián)屬性，將某個人的很多行為數(shù)據(jù)聚集在一起時，他的隱私就很可能會暴露，因為有關他的信息已經足夠多，這種隱性的數(shù)據(jù)暴露往往是個人無法預知和控制的。在大數(shù)據(jù)時代，人們面臨的威脅并不僅限于個人隱私泄露，還在于基于大數(shù)據(jù)對人們狀態(tài)和行為的預測。例如零售商可以通過歷史紀錄分析，得到顧客在衣食住行等方面的愛好、傾向等；社交網絡分析研究也表明，可以通過其中的群組特性發(fā)現(xiàn)用戶的屬性，例如通過分析用戶的微博等信息，可以發(fā)現(xiàn)用戶的政治傾向、消費習慣以及其它愛好等。畝擱謊為尋瓊淶矚腎驄瑤罷閂壺難辭。我們需要對大數(shù)據(jù)中的用戶數(shù)據(jù)和隱私進行保護。我們必須解決好大數(shù)據(jù)時代數(shù)據(jù)公開和數(shù)據(jù)安全和隱私保護之間的矛盾，如果僅僅因為擔心數(shù)據(jù)安全和隱私問題而不公開數(shù)據(jù)，則大數(shù)據(jù)的價值無法體現(xiàn)，因此，大數(shù)據(jù)時代的隱私性主要體現(xiàn)在不暴露用戶敏感信息的前提下進行有效的數(shù)據(jù)挖掘，這有別于傳統(tǒng)的信息安全領域更加關注文件的私密性等安全屬性。根據(jù)需要保護的內容不同，隱私保護又可以細分為位置隱私保護、標識符匿名保護和連接關系匿名保護等。但大數(shù)據(jù)時代的數(shù)據(jù)快速變化給隱私保護帶來了新的挑戰(zhàn)，因為現(xiàn)有隱私保護技術主要基于靜態(tài)數(shù)據(jù)集，我們必須考慮如何在這種復雜環(huán)境下實現(xiàn)對動態(tài)數(shù)據(jù)的利用和隱私保護。當前很多組織都認識到了大數(shù)據(jù)的安全問題。并積極行動起來關注大數(shù)據(jù)安全問題。年運安全聯(lián)盟組建了大數(shù)據(jù)工作組，旨在尋找針對大數(shù)據(jù)中的安全和隱私問題的解決方案。綿嘮詮櫸異閿欏簫鵡涇嘜囂視薺雋慍。．大數(shù)據(jù)標準體系目前，大數(shù)據(jù)技術相關標準的研制還處于起步階段，本部分對、等國際標準化組織、國內全國信標委已經開展的標準化工作進行梳理，依據(jù)大數(shù)據(jù)技術體系，從基礎、技術、產品、應用等不同角度及進行分析，形成了大數(shù)據(jù)標準體系框架。對我國現(xiàn)有標準、在研標準和將提出的標準計劃進行分析，形成了大數(shù)據(jù)標準體系。對于目前急需研制的標準進行了較為詳細的分析，這部分將成為后續(xù)標準化工作的重點。騶鴝記蕢戧滲擺絞絎贍閘選灄鮒隸轉。 大數(shù)據(jù)標準化工作情況 “數(shù)據(jù)管理和交換”分技術委員會,是與大數(shù)據(jù)關系最為密切的標準化組織。持續(xù)致力于研制信息系統(tǒng)環(huán)境內及之間的數(shù)據(jù)管理和交換標準，為跨行業(yè)領域協(xié)調數(shù)據(jù)管理能力提供技術性支持,其標準化技術內容涵蓋:協(xié)調現(xiàn)有和新生數(shù)據(jù)標準化領域的參考模型和框架；負責數(shù)據(jù)域定義、數(shù)據(jù)類型和數(shù)據(jù)結構以及相關的語義等標準；負責用于持久存儲、并發(fā)訪問、并發(fā)更新和交換數(shù)據(jù)的語言、服務和協(xié)議等標準；負責用于構造、組織和注冊元數(shù)據(jù)及共享和互操作相關的其他信息資源（電子商務等）的方法、語言服務和協(xié)議等標準。下設個工作組和幾個研究組，主要內容如下：現(xiàn)閭襪鎰攆錘惻繕騫凱袞煬歷烴隱徹。：電子業(yè)務工作范圍為：研制各組織使用的信息系統(tǒng)間全球互操作所需的開放電子數(shù)據(jù)交換方面的通用標準，包括商務和信息技術兩方面的互操作標準。鐨輝藺敘檔檻豈藶禍緊潔鯨鑊鈉險贅。：元數(shù)據(jù)工作范圍為：研制開發(fā)和維護有利于規(guī)范和管理的元數(shù)據(jù)、元模型和本體的標準，此類標準有助于理解和共享數(shù)據(jù)、信息和過程，支持互操作性，電子商務以及基于模型和基于服務的開發(fā)，包括：建議用于規(guī)定和管理元數(shù)據(jù)、元模型和本體的框架；規(guī)定和管理元數(shù)據(jù)、元模型