【正文】 。你必須努力，當(dāng)有一天驀然回首時(shí)，你的回憶里才會(huì)多一些色彩斑斕，少一些蒼白無(wú)力。4. 歲月是無(wú)情的，假如你丟給它的是一片空白，它還給你的也是一片空白。既糾結(jié)了自己，又打擾了別人。用一些事情，總會(huì)看清一些人。2. 若不是心寬似海，哪有人生風(fēng)平浪靜。Sqoop是適用于關(guān)系型數(shù)據(jù)庫(kù)的數(shù)據(jù)采集，可以通過(guò)建立中間表，編寫UDF程序的方式，最后通過(guò)任務(wù)調(diào)度程序，批量的對(duì)數(shù)據(jù)進(jìn)行數(shù)據(jù)脫敏。處理技術(shù)包括：flume、sqoop等。尤其是數(shù)據(jù)流算法（例如：K均值流媒體）允許Spark實(shí)時(shí)決策的促進(jìn)。不足之處是無(wú)法利用全量數(shù)據(jù)做復(fù)雜的關(guān)聯(lián)處理。當(dāng)數(shù)據(jù)源源不斷的過(guò)來(lái)，此時(shí)我們并沒(méi)有拿到全量的數(shù)據(jù)，因此基于全量數(shù)據(jù)的脫敏算法這時(shí)候是不適用的，但是我們的脫敏模塊可以去讀取歷史數(shù)據(jù)并結(jié)合相應(yīng)的算法進(jìn)行數(shù)據(jù)脫敏，將敏感詞去掉，依據(jù)脫敏規(guī)則將數(shù)據(jù)做泛化處理。同時(shí)Storm使用Apache Thrift，你可以用任何編程語(yǔ)言來(lái)編寫拓?fù)浣Y(jié)構(gòu)。對(duì)于一個(gè)允許增量計(jì)算的高速事件處理系統(tǒng)，Storm會(huì)是最佳選擇。bolt要么把數(shù)據(jù)保存到某種存儲(chǔ)器，要么把數(shù)據(jù)傳遞給其它的bolt。1. 基于Storm的流式數(shù)據(jù)脫敏Storm是一個(gè)分布式的，可靠的，容錯(cuò)的數(shù)據(jù)流處理系統(tǒng)。. 流式數(shù)據(jù)脫密流式數(shù)據(jù)是指不斷產(chǎn)生、實(shí)時(shí)計(jì)算、動(dòng)態(tài)增加且要求及時(shí)響應(yīng)的數(shù)據(jù),它具有海量和實(shí)時(shí)性等特點(diǎn)，一般將實(shí)時(shí)或準(zhǔn)實(shí)時(shí)的數(shù)據(jù)處理技術(shù)歸為流式數(shù)據(jù)處理技術(shù)。對(duì)數(shù)據(jù)的訪問(wèn)要保證可回溯，可審計(jì)，當(dāng)發(fā)生數(shù)據(jù)泄露時(shí)，要保證能夠通過(guò)審計(jì)日志找到對(duì)應(yīng)的泄露人員。216。結(jié)合大數(shù)據(jù)平臺(tái)的用戶認(rèn)證體系，權(quán)限管理體系，以及隱私數(shù)據(jù)不同保護(hù)級(jí)別的權(quán)限管理體系，實(shí)現(xiàn)對(duì)隱私數(shù)據(jù)基于審批的數(shù)據(jù)訪問(wèn)機(jī)制。216。首先，實(shí)現(xiàn)基于大數(shù)據(jù)平臺(tái)的脫敏算法庫(kù)，可并行，高效的按照脫敏規(guī)則對(duì)隱私數(shù)據(jù)進(jìn)行脫敏。因此大數(shù)據(jù)脫敏平臺(tái)的設(shè)計(jì)目標(biāo)并不是實(shí)現(xiàn)工具算法用來(lái)完全抹去全部的用戶標(biāo)識(shí)信息，而是包括如下幾個(gè)目標(biāo)：216。用戶隱私數(shù)據(jù)保護(hù)與挖掘用戶數(shù)據(jù)價(jià)值是兩個(gè)互相沖突的矛盾體，徹底的數(shù)據(jù)脫敏，需要抹去全部的用戶標(biāo)識(shí)信息，使得數(shù)據(jù)潛在的分析價(jià)值大大降低。數(shù)據(jù)脫敏通過(guò)對(duì)數(shù)據(jù)進(jìn)行脫敏，在保證數(shù)據(jù)可用性的同時(shí)，也在一定范圍內(nèi)保證惡意攻擊者無(wú)法將數(shù)據(jù)與具體用戶關(guān)聯(lián)到一起，從而保證用戶數(shù)據(jù)的隱私性。嚴(yán)格的來(lái)說(shuō)，任何有權(quán)限訪問(wèn)用戶數(shù)據(jù)的人員，如ETL工程師或是數(shù)據(jù)分析人員等，均有可能導(dǎo)致數(shù)據(jù)泄漏的風(fēng)險(xiǎn)。大數(shù)據(jù)平臺(tái)接入的數(shù)據(jù)中可能包括很多用戶的隱私和敏感信息，如用電記錄、用電用戶支付信息、國(guó)家機(jī)密信息等，這些數(shù)據(jù)存在可能泄漏的風(fēng)險(xiǎn)。通過(guò)提供過(guò)敏后的數(shù)據(jù)掩碼，一方面可以防止來(lái)自非生產(chǎn)環(huán)境的登錄，并且可以根據(jù)規(guī)則向不同的登錄用戶和系統(tǒng)提供經(jīng)過(guò)脫敏的數(shù)據(jù)。2：降低外包風(fēng)險(xiǎn)對(duì)于大型復(fù)雜系統(tǒng)，往往依賴大量的外包IT人員和開(kāi)發(fā)單位來(lái)開(kāi)展和維護(hù)業(yè)務(wù)，這些外包人員能夠通過(guò)應(yīng)用程序，報(bào)表和開(kāi)發(fā)、運(yùn)維工具訪問(wèn)生產(chǎn)數(shù)據(jù)，這意味著隱私數(shù)據(jù)完全暴露在不可控的環(huán)境中；動(dòng)態(tài)數(shù)據(jù)脫敏可以對(duì)不同用戶和應(yīng)用的訪問(wèn)進(jìn)行實(shí)時(shí)的隱私數(shù)據(jù)屏蔽，幫助國(guó)家電網(wǎng)有效保護(hù)重要數(shù)據(jù)資產(chǎn)的訪問(wèn)。由此造成了對(duì)客戶信息、電話、地址等隱私信息的違規(guī)訪問(wèn)途徑。通過(guò)動(dòng)態(tài)脫敏功能，能夠幫助國(guó)家電網(wǎng)公司快速、低風(fēng)險(xiǎn)、平穩(wěn)的提供生產(chǎn)數(shù)據(jù)庫(kù)的實(shí)時(shí)隱私保護(hù)。通常依據(jù)用戶的角色、職責(zé)和其他IT 定義身份特征，動(dòng)態(tài)的對(duì)生產(chǎn)數(shù)據(jù)庫(kù)返回的數(shù)據(jù)進(jìn)行專門的屏蔽、加密、隱藏和審計(jì)，可確保不同級(jí)別的用戶按照其身份特征恰如其分的訪問(wèn)敏感數(shù)據(jù)，并且不需要對(duì)生產(chǎn)數(shù)據(jù)庫(kù)中的數(shù)據(jù)進(jìn)行任何改變。. 動(dòng)態(tài)數(shù)據(jù)脫敏動(dòng)態(tài)數(shù)據(jù)脫敏指用戶在前端應(yīng)用處調(diào)取后臺(tái)數(shù)據(jù)庫(kù)中敏感數(shù)據(jù)時(shí)，進(jìn)行數(shù)據(jù)脫敏，再反饋至前臺(tái)呈現(xiàn)。這樣既保證了開(kāi)發(fā)過(guò)程中的數(shù)據(jù)共享和結(jié)果一致性，又保證了真實(shí)數(shù)據(jù)不會(huì)在開(kāi)發(fā)過(guò)程中泄漏。得到的分析結(jié)果后能夠?qū)⒎治龀龅臄?shù)據(jù)進(jìn)行回溯。. 靜態(tài)數(shù)據(jù)脫敏靜態(tài)數(shù)據(jù)脫敏指將數(shù)據(jù)文件進(jìn)行去敏感、去隱私化的處理同時(shí)保證數(shù)據(jù)之間的關(guān)聯(lián)關(guān)系。動(dòng)態(tài)數(shù)據(jù)脫敏（DDM）一般用在生產(chǎn)環(huán)境，在訪問(wèn)敏感數(shù)據(jù)當(dāng)時(shí)進(jìn)行脫敏，一般用來(lái)解決在生產(chǎn)環(huán)境需要根據(jù)不同情況對(duì)同一敏感數(shù)據(jù)讀取時(shí)需要進(jìn)行不同級(jí)別脫敏的問(wèn)題。常用的脫敏規(guī)則主要有：編號(hào)名稱描述示例1Hiding（隱匿）將數(shù)據(jù)替換成一個(gè)常量，常用作不需要該敏感字段時(shí)500 0630 02Hashing（hash映射）將數(shù)據(jù)映射為一個(gè)hash值（不一定是一一映射），常用作將不定長(zhǎng)數(shù)據(jù)應(yīng)設(shè)成定長(zhǎng)的hash值Jim,Green 456684923Tom,Cluz 8593759843Permutation（唯一值映射）將數(shù)據(jù)映射為唯一值，允許根據(jù)映射值找回原始值，支持正確的聚合或連接操作Smith ClemetzJones Spefde4Shift（偏移）將數(shù)量值增加一個(gè)固定的偏移量，隱藏?cái)?shù)值部分特征253 1253254 12545Enumeration（排序映射）將數(shù)據(jù)映射為新值，同時(shí)保持?jǐn)?shù)據(jù)順序500 25000400 200006Truncation（截?cái)啵?shù)據(jù)尾部階段，只保留前半部分02166666666021010888888880107Prefixpreserving（局部混淆）保持IP前n位不變，混淆其余部分8Mask（掩碼）數(shù)據(jù)長(zhǎng)度不變，但只保留部分?jǐn)?shù)據(jù)信息2345323 234—2314562334 145—349Floor（偏移取整）數(shù)據(jù)或是日期取整28