【正文】 絡(luò)；社交媒體； 移動應(yīng)用程序；聯(lián)邦、州和地方記錄與數(shù)據(jù)庫；聚集商業(yè)交易與公共記錄中的個人數(shù)據(jù)而形成的商業(yè)數(shù)據(jù)庫；地理空間數(shù)據(jù)；各類調(diào)查；通過掃描并借助光學(xué)字符識別轉(zhuǎn)化而成電子形式的傳統(tǒng)離線文獻。“數(shù)據(jù)融合”(“data fusion”)能夠?qū)⒎稚⒌臄?shù)據(jù)源整合在一起，隨著這種能力的提升，大數(shù)據(jù)可以帶來一些遠見卓識。其它數(shù)據(jù)是“天生模擬的” (“born analog”)，這是說它從物理世界中發(fā)散出來，但可以不斷被轉(zhuǎn)化成數(shù)字格式。就像總統(tǒng)科學(xué)和技術(shù)顧問委員會的報告中所說的，有些數(shù)據(jù)是“天生數(shù)字化的” (“born digital”)，意思是說它就是特別創(chuàng)造出來用于計算機和數(shù)據(jù)處理系統(tǒng)的。從基于網(wǎng)絡(luò)的應(yīng)用、可穿戴技術(shù)與先進傳感器到監(jiān)測生命體征、能源使用狀況與慢跑者跑步速度的監(jiān)測儀，由此帶來的數(shù)據(jù)爆炸將推進人們對于高性能計算技術(shù)的需求，并推動針對最復(fù)雜數(shù)據(jù)的管理能力的提升。數(shù)據(jù)采集、存儲與處理成本的下降，連同像傳感器、相機、地理位置及其它觀測技術(shù)提供的新的數(shù)據(jù)來源，意味著我們生活在一個數(shù)據(jù)采集幾乎無處不在的世界中?！?V”: 數(shù)量（Volume）、類別（Variety）、速度（Velocity）為了本項研究，評估小組聚焦的是那些數(shù)量巨大、類別繁多且高速運行的數(shù)據(jù)，而傳統(tǒng)的數(shù)據(jù)采集與分析模式已經(jīng)難以應(yīng)對了。大數(shù)據(jù)有什么不同？這章首先界定一下大數(shù)據(jù)真正新穎和不同的是什么，它得益于總統(tǒng)科學(xué)和技術(shù)顧問委員會（PCAST）的工作。此外，白宮網(wǎng)站平臺就公眾對于大數(shù)據(jù)的各類使用及不同類型的大數(shù)據(jù)技術(shù)所持的態(tài)度，做了一項粗略的調(diào)查。白宮科學(xué)與技術(shù)政策辦公室(White House Office of Science andTechnology Policy)與麻省理工大學(xué)、紐約大學(xué)、加州伯克利大學(xué)聯(lián)合組織了三場大學(xué)會議。這份評估報告本質(zhì)上被認(rèn)為是一種對大數(shù)據(jù)作用范圍的調(diào)查。 Technology, PCAST)組織了一項平行報告，以評估基礎(chǔ)技術(shù)。澤恩斯(Jeffrey Zients)，以及其他高級政府官員。普利茨克(Penny Pritzker)、能源部部長歐內(nèi)斯特?莫尼茲(Ernest Moniz)、總統(tǒng)科學(xué)顧問約翰波德斯塔(John Podesta)就大數(shù)據(jù)技術(shù)正在或?qū)⒁獙?jīng)濟、社會與政府行為的范圍內(nèi)發(fā)生的影響做出全面評價。相反，我們的研究集中在探討個人與數(shù)據(jù)的搜集、利用方之間那些至關(guān)重要的問題。就這為期 3 個月的研究而言，評估組并不旨在對大數(shù)據(jù)的作用做出全面的解答。大數(shù)據(jù)可以被看成一種資產(chǎn)、一種公共資源，或者一種個體身份的表達； 它的應(yīng)用或許可以驅(qū)動未來的美國經(jīng)濟，也可以是我們所珍視的自由的一種威脅。但是，這些能力對于普通消費者來說，多數(shù)都是既不可見，也無法得到的，因此， 它們在持有大數(shù)據(jù)的一方與有意無意地提供著數(shù)據(jù)的一方之間，形成了一種非對稱的力量。先且不論我們?nèi)绾伟汛髷?shù)據(jù)界定為一種技術(shù)現(xiàn)象，大數(shù)據(jù)分析那多元而廣闊的潛在用途將面臨一些關(guān)鍵性的問題，即我們的法律、倫理與社會規(guī)范在大數(shù)據(jù)時代是不是有足夠的能力保護個人隱私和其它價值?！?更確切地說，大數(shù)據(jù)集是“龐大的、多樣化的、復(fù)雜的、縱深的和/或分布式的，它由各類儀器設(shè)備、傳感器、網(wǎng)上交易、電子郵件、視頻、點擊流，以及現(xiàn)在與未來所有可以利用的其他數(shù)字化信號源產(chǎn)生” 。多數(shù)定義都反映了那種不斷增長的捕捉、聚合與處理數(shù)據(jù)的技術(shù)能力，而這個數(shù)據(jù)集在數(shù)量、速率與種類上持續(xù)擴大。這些連接的設(shè)備通過互聯(lián)網(wǎng)傳輸、編制和分析數(shù)據(jù)。這些設(shè)備通常嵌入了傳感器，并通過有線或無線網(wǎng)絡(luò)連接后進行彼此間的信息交換。自 2005 年以來，人們在硬件、軟件、人才與服務(wù)方面的商業(yè)投資增長了近 50%，達到 4 萬億美元。在物聯(lián)網(wǎng)中，我們的各種應(yīng)用設(shè)備、運輸工具以及持續(xù)增長的“可穿戴”技術(shù)產(chǎn)品將可以彼此交換信息。這些趨勢還將持續(xù)下去。世界上每天大約有 5 億張照片上傳或分享，另外每分鐘還有超過 200 小時的視頻上傳、分享。托爾斯泰所著的 1250 頁的《戰(zhàn)爭與和平》所需的容量。想想看，一個字節(jié)等于文本中的一個字符。 2011 年，新生成的和復(fù)制的信息量估計超過了 ZB（澤字節(jié)）；而在 2013 年，這一數(shù)字估計可達 4 ZB。數(shù)據(jù)的搜集、存儲與分析技術(shù)不斷提升，這種提升看上去正處于一種無限的向上軌跡之中。今天，數(shù)據(jù)比以往任何時候都更加深入地與我們的生活交織在一起。1911 年，泰勒撰寫了《科學(xué)管理原理》，以回應(yīng)西奧多溫斯洛從數(shù)據(jù)中擷取洞見以提振經(jīng)濟行為，這也是美國工業(yè)的慣常做法。斯諾(John Snow)博士運用近代早期的數(shù)據(jù)科學(xué)繪制了倫敦霍亂爆發(fā)的“群聚”地圖。這些工具常常帶來驚人的進步。目錄大數(shù)據(jù)與個人什么是大數(shù)據(jù)？大數(shù)據(jù)有什么不同？證明我們的價值奧巴馬政府在數(shù)據(jù)開放與隱私保護問題上的發(fā)展路徑奧巴馬政府關(guān)于公開數(shù)據(jù)的舉措美國隱私法案和國際隱私法框架公共部門的數(shù)據(jù)管理大數(shù)據(jù)與醫(yī)療保健服務(wù)對學(xué)習(xí)的研究：大數(shù)據(jù)與教育大數(shù)據(jù)在國土安全部在執(zhí)法過程中貫徹隱私價值觀大數(shù)據(jù)技術(shù)對隱私法的啟示私營部門的數(shù)據(jù)管理大數(shù)據(jù)對消費者與企業(yè)的益處廣告支撐的生態(tài)系統(tǒng)數(shù)據(jù)服務(wù)業(yè)為大數(shù)據(jù)構(gòu)建的政策框架大數(shù)據(jù)與公民大數(shù)據(jù)與顧客大數(shù)據(jù)與歧視大數(shù)據(jù)與隱私預(yù)測大數(shù)據(jù)變革的下一篇章結(jié)論與建議保護個人隱私的價值數(shù)字時代負責(zé)任的教育創(chuàng)新大數(shù)據(jù)與歧視執(zhí)法與安全保護數(shù)據(jù)公共資源化大數(shù)據(jù)與個人什么是大數(shù)據(jù)？自從古代有過第一次計數(shù)和農(nóng)作物產(chǎn)量記錄以來， 數(shù)據(jù)收集和分析便成為社會功能改進的根本手段。我們致力于這一倡議和改進。 美國比世界上的任何其他國家更適合確保數(shù)據(jù)革命能夠持續(xù)地為個人發(fā)展和社會良好效力。美國人與數(shù)據(jù)的關(guān)系將擴展他們的機會和潛力，而不是縮減。大數(shù)據(jù)也引發(fā)了其他問題。大數(shù)據(jù)技術(shù)將變革生活中的每一個領(lǐng)域。雖然大數(shù)據(jù)毫無疑問地加大了政府權(quán)力累積未經(jīng)核實的事實的可能性， 但它也提供了增強公眾責(zé)任、 隱私和權(quán)利的方案。這次調(diào)查的重點在于公共和私營部門如何在將風(fēng)險最小化的同時，將大數(shù)據(jù)的價值最大化。其導(dǎo)致的數(shù)據(jù)爆炸和挖掘正改變著我們的世界。我們?nèi)绾瓮ㄐ?、交際、度過閑暇時光以及開展業(yè)務(wù)已經(jīng)轉(zhuǎn)移到了互聯(lián)網(wǎng)上。這份調(diào)查報告旨在鼓勵使用數(shù)據(jù)以推動社會進步，特別是在市場與現(xiàn)有的機構(gòu)并未以其他方式來支持這樣的進步的領(lǐng)域，與此同時，我們也需要相應(yīng)的框架、結(jié)構(gòu)與研究，來幫助保護我們的核心價值觀念。 ”“大數(shù)據(jù)正在改變世界。醫(yī)療保健行業(yè)的領(lǐng)導(dǎo)者已經(jīng)呼吁構(gòu)建一個更為廣泛的信用框架，使得不同來源、不同隱私保密程度的健康數(shù)據(jù)得以匯聚?！薄氨M管醫(yī)學(xué)技術(shù)不斷變化，但健康數(shù)據(jù)仍然是我們生活中非常私密的部分?！薄霸?2014 年，美國國稅局通過一個名為‘Get transcript’的工具將納稅人的信息數(shù)據(jù)加以共享，納稅人可以通過它獲得他們自己最近三年的納稅記錄。在過去的 90 天中，評估小組對學(xué)術(shù)專家、產(chǎn)業(yè)代表、保護個人隱私的倡導(dǎo)者、人權(quán)團體、執(zhí)法者，以及其它政府機構(gòu)進行了調(diào)研。美國白宮：2014年全球”大數(shù)據(jù)“白皮書——（浙江大學(xué)譯） Posted on 2014年05月29日 by ooodong in 數(shù)據(jù)行業(yè), 行業(yè)資訊 with 0 Comments大數(shù)據(jù)：抓住機遇、保存價值美國總統(tǒng)行政辦公室2014 年 5 月概述：“即使大數(shù)據(jù)技術(shù)重塑了我們周圍的世界，今天的發(fā)言也將幫助我們持續(xù)貫徹自身的價值觀念?！薄斑@份評估報告本質(zhì)上被認(rèn)為是一種對大數(shù)據(jù)作用范圍的調(diào)查。白宮科學(xué)與技術(shù)政策辦公室(White House Office of Science and Technology Policy)與麻省理工大學(xué)、紐約大學(xué)、加州伯克利大學(xué)聯(lián)合組織了三場大學(xué)會議。個人納稅者可以借此下載過去的納稅申報單，這使得居民進行抵押、學(xué)生貸款、商務(wù)貸款等活動與填寫納稅表變得更加便捷。在大數(shù)據(jù)使得較之以往任何時候都更為強大的發(fā)現(xiàn)成為可能的同時，重新審視相關(guān)信息被所有醫(yī)療保健機構(gòu)共享后的隱私保密方式也顯得相當(dāng)重要。這一框架需要附加《健康保險便利和責(zé)任法案》與《反基因歧視法》(“Genetic Information NonDiscrimination Act”, GINDA)中的隱私保護條款，并同時設(shè)計標(biāo)準(zhǔn)化數(shù)據(jù)結(jié)構(gòu)以提高其跨平臺適應(yīng)性。但是它并沒有改變美國人對于保護個人隱私、確保公平或是防止歧視的堅定信仰。給總統(tǒng)的一封信親愛的總統(tǒng)先生：我們正生活在社會、經(jīng)濟與技術(shù)革命之中。互聯(lián)網(wǎng)又滲透進入我們的手機，進入蔓延在我們家園和城市中的設(shè)備中，進入推動工業(yè)經(jīng)濟的工廠中。今年一月，你要求我們進行為期 90 天的調(diào)查，檢驗大數(shù)據(jù)將如何改變我們生活和工作的方式，改變政府、公民、企業(yè)家和消費者之間的關(guān)系。 它也為大數(shù)據(jù)確定了發(fā)展我們的經(jīng)濟，改善健康和教育以及使我們國家更加安全和節(jié)能的機會。如果正確實施， 大數(shù)據(jù)將成為歷史前進的推動力，幫助我們國家保持長期以來成為我國特點的公民和經(jīng)濟活力。 它們使之成為可能的知識發(fā)現(xiàn)提出了我們?yōu)殡[私保護構(gòu)架的框架如何在大數(shù)據(jù)生態(tài)系統(tǒng)中應(yīng)用的重大問題。 這個報告的一個重大發(fā)現(xiàn)在于，大數(shù)據(jù)分析有一定可能使長久存在的公民權(quán)利保護黯然失色，特別在于個人信息如何利用于住房、信貸、就業(yè)、健康、教育及市場領(lǐng)域上。我們正在建設(shè)我們將繼承的未來。我們欣然提交本報告，建議我們?nèi)绾卧诒Ｗo諸如隱私、公正、自決等基本價值的同時擁抱大數(shù)據(jù)技術(shù)。我們今天在這發(fā)起的對話將幫助我們在大數(shù)據(jù)重塑我們周圍世界的同時，堅持我們自身的價值。 1 18 世紀(jì)的微積分、概率論和統(tǒng)計學(xué)所提供的基礎(chǔ)性工作，為科學(xué)家提供了一系列新工具，用來準(zhǔn)確預(yù)測星辰運動、確定公眾犯罪率、結(jié)婚率和自殺率。在 19 世紀(jì)，約翰霍亂在過去被普遍認(rèn)為是由“有害”空氣導(dǎo)致的，斯諾通過調(diào)查被污染的公共水井進而確定了“霍亂”的元兇，并同時奠定了疾病細菌理論的基礎(chǔ)。弗雷德里克泰勒(Frederick Winslow Taylor)在賓夕法尼亞州的米德瓦爾鋼鐵廠采用秒表和筆記板來分析生產(chǎn)力，這大大增加了車間產(chǎn)量，也鑄就了他的信念，即數(shù)據(jù)科學(xué)可以為生活中每一個方面都帶來革命性影響。羅斯福(Theodore Roosevelt)總統(tǒng)有關(guān)提升“國家效能”的倡議：從我們單個人的行動到大型企業(yè)的工作，科學(xué)管理的基本原理可以應(yīng)用到一切類型的人類行為中……無論何時，只要正確運用這些原理，必定會產(chǎn)生真正令人驚訝的成果。我們期待著用數(shù)據(jù)解決各種問題、改善福利，以及推動經(jīng)濟繁榮。它們的加速是因為處理器能力的增強、計算與存儲成本的降低，以及在各類設(shè)備中嵌入傳感器的技術(shù)的增長。什么是澤字節(jié)（ZB 或 Zettabyte）一澤字節(jié)等于 21 字節(jié)，或相應(yīng)的信息單元。 1ZB 相當(dāng)于存儲 323 兆份列夫6或者想象一下，假定每一個美國人每秒鐘拍一張照片并連續(xù)拍 1 個月，所有這些照片存儲進來容量就相當(dāng)于 1ZB。但是，即使是人們自己產(chǎn)生的信息，即從語音通話、電子郵件、文本到上傳的圖片、視頻、音樂等全方位交流產(chǎn)生的信息，與每天產(chǎn)生的與他們相關(guān)的電子記錄等數(shù)字化信息相比，在數(shù)量上都是相形見拙的。我們只是處在所謂的“物聯(lián)網(wǎng)”(“Internet of Things”)的相當(dāng)初級的階段。技術(shù)的進步將促成創(chuàng)建、捕捉、管理與存儲信息的成本降至2005 年的六分之一?！拔锫?lián)網(wǎng)”“物聯(lián)網(wǎng)”這個術(shù)語用來描述具有可交換信息能力的設(shè)備網(wǎng)絡(luò)。它們可能包括你的溫控器、汽車，甚至是你咽下去的“小藥片”，醫(yī)生可以用它來監(jiān)控你的腸胃以及消化道的健康狀況。關(guān)于“大數(shù)據(jù)”有許多種定義，這種差別取決于你是一位計算機科學(xué)家，還是一位金融分析師，抑或是一位為風(fēng)險投資人推銷一個概念的企業(yè)家。換言之，“現(xiàn)在，數(shù)據(jù)可以更快獲取，有著更大的廣度和深度，并且包含了以前做不到的新的觀測和度量類型。就大數(shù)據(jù)而言，真正重要的是它能做什么。前所未有的計算能力與持續(xù)的改進能力為我們的生活帶來了可能是先前從未預(yù)料到的發(fā)現(xiàn)、創(chuàng)新與進步。部分挑戰(zhàn)也在于如何理解大數(shù)據(jù)發(fā)揮作用的許多不同的應(yīng)用場景。大數(shù)據(jù)可能是所有這些事情。大數(shù)據(jù)技術(shù)和支撐它的產(chǎn)業(yè)都在不斷地創(chuàng)新和變化中。這份評估報告的范圍今年 1 月 17 日， 奧巴馬總統(tǒng)在司法部就改革美國信號情報工作的演講中，責(zé)成他的顧問約翰為此，波德斯塔召集了商務(wù)部部長佩尼霍爾德倫(John Holdren)、總統(tǒng)經(jīng)濟學(xué)顧問杰弗里總統(tǒng)科學(xué)和技術(shù)顧問委員會(President’s Council of Advisors for Science amp。他們的成果支持了本報告中的許多技術(shù)性判斷。在過去的 90天中，評估小組對學(xué)術(shù)專家、產(chǎn)業(yè)代表、保護個人隱私的倡導(dǎo)者、人權(quán)團體、執(zhí)法者，以及其它政府機構(gòu)進行了調(diào)研。白宮科學(xué)與技術(shù)政策辦公室也發(fā)放了“咨詢請求”，就大數(shù)據(jù)和個人隱私問題尋求公眾意見，并得到了超過 70 起回復(fù)。在本報告附錄中，可以看到工作組各項工作的列表。PCAST 寫作了一份平行而獨立的報告《大數(shù)據(jù)與個人隱私：一種技術(shù)的視角》。我們將其特征通俗地稱為“3V”。采集與處理的數(shù)據(jù)量是空前的。不僅是數(shù)據(jù)的數(shù)量正在快速增長，它的格式也越發(fā)多樣，來源也越發(fā)廣泛。 這些例子存在于電子郵件、網(wǎng)頁瀏覽，或 GPS 定位之中。模擬數(shù)據(jù)的例子包括手機、相機或攝像設(shè)備錄制的語音或可視信息，或者還有通過可穿戴設(shè)備監(jiān)測到的身體活動數(shù)據(jù)，如心率或排汗量。大數(shù)據(jù)來源是什么？數(shù)據(jù)的來源與格式，連同其類別與復(fù)雜程度，都處于持續(xù)增長之中。更多具有上網(wǎng)功能的設(shè)備與傳感器的出現(xiàn)擴大了從物理實體，包括通過傳感器和射頻識別(radiofrequency identification, RFID)芯片采集數(shù)據(jù)的能力。不僅如此，數(shù)據(jù)采集與分析的執(zhí)行速度越來越接近即時時間，這意味對于一個人就其周邊環(huán)境或生活所做的決定產(chǎn)生即時的影響而言，大數(shù)據(jù)分析有著越來越大的潛力?？蛻襞c公司希望通過分析這種數(shù)據(jù)使其即刻獲益的要求越來越高。新機會、新挑戰(zhàn)大數(shù)據(jù)技術(shù)能夠?qū)⒋罅康臄?shù)據(jù)集以從前不可能的方式分析出有價值的東西。但是，有關(guān)大數(shù)據(jù)的技術(shù)能力已然達到了成熟與普及的水平，它