【正文】 。通過提供過敏后的數(shù)據(jù)掩碼，一方面可以防止來自非生產(chǎn)環(huán)境的登錄，并且可以根據(jù)規(guī)則向不同的登錄用戶和系統(tǒng)提供經(jīng)過脫敏的數(shù)據(jù)。4. 大數(shù)據(jù)的數(shù)據(jù)脫敏技術(shù)大數(shù)據(jù)平臺通過將所有數(shù)據(jù)整合起來，充分分析與挖掘數(shù)據(jù)的內(nèi)在價值，為業(yè)務(wù)部門提供數(shù)據(jù)平臺，數(shù)據(jù)產(chǎn)品與數(shù)據(jù)服務(wù)。大數(shù)據(jù)平臺接入的數(shù)據(jù)中可能包括很多用戶的隱私和敏感信息，如用電記錄、用電用戶支付信息、國家機(jī)密信息等，這些數(shù)據(jù)存在可能泄漏的風(fēng)險。大數(shù)據(jù)平臺一般通過用戶認(rèn)證，權(quán)限管理以及數(shù)據(jù)加密等技術(shù)保證數(shù)據(jù)的安全，但是這并不能完全從技術(shù)上保證數(shù)據(jù)的安全。嚴(yán)格的來說，任何有權(quán)限訪問用戶數(shù)據(jù)的人員，如ETL工程師或是數(shù)據(jù)分析人員等，均有可能導(dǎo)致數(shù)據(jù)泄漏的風(fēng)險。另一方面，沒有訪問用戶數(shù)據(jù)權(quán)限的人員，也可能有對該數(shù)據(jù)進(jìn)行分析挖掘的需求，數(shù)據(jù)的訪問約束大大限制的充分挖掘數(shù)據(jù)價值的范圍。數(shù)據(jù)脫敏通過對數(shù)據(jù)進(jìn)行脫敏，在保證數(shù)據(jù)可用性的同時，也在一定范圍內(nèi)保證惡意攻擊者無法將數(shù)據(jù)與具體用戶關(guān)聯(lián)到一起，從而保證用戶數(shù)據(jù)的隱私性。數(shù)據(jù)脫敏方案作為大數(shù)據(jù)平臺整體數(shù)據(jù)安全解決方案的重要組成部分，是構(gòu)建安全可靠的大數(shù)據(jù)平臺必不可少的功能特性。用戶隱私數(shù)據(jù)保護(hù)與挖掘用戶數(shù)據(jù)價值是兩個互相沖突的矛盾體，徹底的數(shù)據(jù)脫敏，需要抹去全部的用戶標(biāo)識信息，使得數(shù)據(jù)潛在的分析價值大大降低。另一方面，完全保留用戶隱私數(shù)據(jù)信息，可最大化數(shù)據(jù)的分析價值，同時導(dǎo)致用戶隱私泄露的風(fēng)險無法控制。因此大數(shù)據(jù)脫敏平臺的設(shè)計目標(biāo)并不是實現(xiàn)工具算法用來完全抹去全部的用戶標(biāo)識信息，而是包括如下幾個目標(biāo)：216。 數(shù)據(jù)泄露風(fēng)險可控。首先，實現(xiàn)基于大數(shù)據(jù)平臺的脫敏算法庫，可并行，高效的按照脫敏規(guī)則對隱私數(shù)據(jù)進(jìn)行脫敏。其次，基于數(shù)據(jù)脫敏的理論基礎(chǔ)，建立用戶隱私數(shù)據(jù)泄露風(fēng)險的衡量模型，可定性定量的準(zhǔn)確衡量數(shù)據(jù)可能發(fā)生泄露的風(fēng)險。216。 可管理。結(jié)合大數(shù)據(jù)平臺的用戶認(rèn)證體系，權(quán)限管理體系，以及隱私數(shù)據(jù)不同保護(hù)級別的權(quán)限管理體系，實現(xiàn)對隱私數(shù)據(jù)基于審批的數(shù)據(jù)訪問機(jī)制。結(jié)合公司制度，規(guī)范，法務(wù)等管理，實現(xiàn)在盡可能保護(hù)用戶隱私數(shù)據(jù)，減少數(shù)據(jù)泄露風(fēng)險的前提下，最大化保留數(shù)據(jù)分析挖掘的價值。216。 可審計。對數(shù)據(jù)的訪問要保證可回溯，可審計，當(dāng)發(fā)生數(shù)據(jù)泄露時，要保證能夠通過審計日志找到對應(yīng)的泄露人員。大數(shù)據(jù)平臺的數(shù)據(jù)來源比較廣泛，根據(jù)現(xiàn)在流行的數(shù)據(jù)采集技術(shù)，可以分為流式數(shù)據(jù)和批量數(shù)據(jù)兩種。. 流式數(shù)據(jù)脫密流式數(shù)據(jù)是指不斷產(chǎn)生、實時計算、動態(tài)增加且要求及時響應(yīng)的數(shù)據(jù),它具有海量和實時性等特點(diǎn)，一般將實時或準(zhǔn)實時的數(shù)據(jù)處理技術(shù)歸為流式數(shù)據(jù)處理技術(shù)。包括：Apache Storm、Spark Streaming等。1. 基于Storm的流式數(shù)據(jù)脫敏Storm是一個分布式的，可靠的，容錯的數(shù)據(jù)流處理系統(tǒng)。Storm集群的輸入流由一個被稱作spout的組件管理，spout把數(shù)據(jù)傳遞給bolt，bolt要么把數(shù)據(jù)保存到某種存儲器，要么把數(shù)據(jù)傳遞給其它的bolt。一個Storm集群就是在一連串的bolt之間轉(zhuǎn)換spout傳過來的數(shù)據(jù)。對于一個允許增量計算的高速事件處理系統(tǒng)，Storm會是最佳選擇。它可以應(yīng)對你在客戶端等待結(jié)果的同時，進(jìn)一步進(jìn)行分布式計算的需求，可以使用開箱即用的分布式RPC。同時Storm使用Apache Thrift，你可以用任何編程語言來編寫拓?fù)浣Y(jié)構(gòu)。由于storm的數(shù)據(jù)處理方式是增量的實時處理，我們的數(shù)據(jù)脫敏模塊應(yīng)該具備增量數(shù)據(jù)脫敏的功能。當(dāng)數(shù)據(jù)源源不斷的過來，此時我們并沒有拿到全量的數(shù)據(jù)，因此基于全量數(shù)據(jù)的脫敏算法這時候是不適用的，但是我們的脫敏模塊可以去讀取歷史數(shù)據(jù)并結(jié)合相應(yīng)的算法進(jìn)行數(shù)據(jù)脫敏，將敏感詞去掉，依據(jù)脫敏規(guī)則將數(shù)據(jù)做泛化處理。流式數(shù)據(jù)脫敏的優(yōu)勢是從數(shù)據(jù)發(fā)生的時刻就進(jìn)行了數(shù)據(jù)處理。不足之處是無法利用全量數(shù)據(jù)做復(fù)雜的關(guān)聯(lián)處理。數(shù)據(jù)處理流程如下圖：2. 基于Spark Streaming的流式數(shù)據(jù)脫敏 說到微批處理，如果你必須有狀態(tài)的計算，恰好一次的遞送，并且不介意高延遲的話，那么可以考慮Spark Streaming，特別如果你還計劃圖形操作、機(jī)器學(xué)習(xí)或者訪問SQL的話，Apache Spark的stack允許你將一些library與數(shù)據(jù)流相結(jié)合（Spark SQL，Mllib，GraphX），它們會提供便捷的一體化編程模型。尤其是數(shù)據(jù)流算法（例如：K均值流媒體）允許Spark實時決策的促進(jìn)。. 批量數(shù)據(jù)脫敏批量數(shù)據(jù)接入是指數(shù)據(jù)源來自一個穩(wěn)定的、基本不變的存儲介質(zhì)，通過數(shù)據(jù)掃描的方式一次性將數(shù)據(jù)采集到大數(shù)據(jù)平臺來，數(shù)據(jù)以歷史數(shù)據(jù)為主，數(shù)據(jù)源一般來自文件、關(guān)系型數(shù)據(jù)庫、nosql數(shù)據(jù)庫等。處理技術(shù)包括：flume、sqoop等。批量數(shù)據(jù)脫敏可以在數(shù)據(jù)導(dǎo)入的過程中進(jìn)行脫敏，也可以在數(shù)據(jù)進(jìn)入大數(shù)據(jù)平臺后，調(diào)用脫敏程序模塊來進(jìn)行脫敏，批量數(shù)據(jù)的脫敏可以結(jié)合數(shù)據(jù)的關(guān)聯(lián)關(guān)系，運(yùn)用復(fù)雜的脫敏算法以達(dá)到更好的脫敏效果，基于flume的數(shù)據(jù)采集方式，可以通過編寫攔截器，在攔截器中調(diào)用數(shù)據(jù)脫敏程序，輸出脫敏后的數(shù)據(jù)。Sqoop是適用于關(guān)系型數(shù)據(jù)庫的數(shù)據(jù)采集，可以通過建立中間表，編寫UDF程序的方式，最后通過任務(wù)調(diào)度程序，批量的對數(shù)據(jù)進(jìn)行數(shù)據(jù)脫敏。數(shù)據(jù)處理流程如下圖：5. 電力數(shù)據(jù)脫敏. 營銷數(shù)據(jù). 調(diào)度數(shù)據(jù). 運(yùn)檢數(shù)據(jù). SCADA數(shù)據(jù) 完美WORD格式編輯