【正文】 批量數(shù)據(jù)脫敏可以在數(shù)據(jù)導入的過程中進行脫敏，也可以在數(shù)據(jù)進入大數(shù)據(jù)平臺后，調(diào)用脫敏程序模塊來進行脫敏，批量數(shù)據(jù)的脫敏可以結(jié)合數(shù)據(jù)的關(guān)聯(lián)關(guān)系，運用復雜的脫敏算法以達到更好的脫敏效果，基于flume的數(shù)據(jù)采集方式，可以通過編寫攔截器，在攔截器中調(diào)用數(shù)據(jù)脫敏程序，輸出脫敏后的數(shù)據(jù)。數(shù)據(jù)處理流程如下圖：2. 基于Spark Streaming的流式數(shù)據(jù)脫敏 說到微批處理，如果你必須有狀態(tài)的計算，恰好一次的遞送，并且不介意高延遲的話，那么可以考慮Spark Streaming，特別如果你還計劃圖形操作、機器學習或者訪問SQL的話，Apache Spark的stack允許你將一些library與數(shù)據(jù)流相結(jié)合（Spark SQL，Mllib，GraphX），它們會提供便捷的一體化編程模型。由于storm的數(shù)據(jù)處理方式是增量的實時處理，我們的數(shù)據(jù)脫敏模塊應(yīng)該具備增量數(shù)據(jù)脫敏的功能。一個Storm集群就是在一連串的bolt之間轉(zhuǎn)換spout傳過來的數(shù)據(jù)。包括：Apache Storm、Spark Streaming等。 可審計。 可管理。 數(shù)據(jù)泄露風險可控。數(shù)據(jù)脫敏方案作為大數(shù)據(jù)平臺整體數(shù)據(jù)安全解決方案的重要組成部分，是構(gòu)建安全可靠的大數(shù)據(jù)平臺必不可少的功能特性。大數(shù)據(jù)平臺一般通過用戶認證，權(quán)限管理以及數(shù)據(jù)加密等技術(shù)保證數(shù)據(jù)的安全，但是這并不能完全從技術(shù)上保證數(shù)據(jù)的安全。3：保護通用帳戶風險數(shù)據(jù)庫維護人員常常會使用強度很弱的通用密碼，便于開發(fā)人員和DBA訪問和監(jiān)控生產(chǎn)數(shù)據(jù)庫，便利的同時也為獲取關(guān)鍵隱私數(shù)據(jù)開了方便之門。典型的應(yīng)用場景體現(xiàn)在：1：保護生產(chǎn)環(huán)境對于國家電網(wǎng)大型復雜系統(tǒng)環(huán)境下，為了給客戶提供高水平的服務(wù)，有時意味著開發(fā)人員、數(shù)據(jù)庫管理員、設(shè)計人員、專業(yè)顧問和其他系統(tǒng)需要不受限制的訪問生產(chǎn)數(shù)據(jù)，以便迅速解決重大問題和快速響應(yīng)?？稍谕ㄓ崒用嫔?，通過代理部署方式，對業(yè)務(wù)系統(tǒng)數(shù)據(jù)庫中敏感數(shù)據(jù)進行透明的、實時的脫敏。該脫敏方式適用于項目開發(fā)單位需要獲取完整的數(shù)據(jù)才能保證數(shù)據(jù)分析工作的順利完成，對于數(shù)據(jù)提供方，又不希望敏感數(shù)據(jù)泄漏出去，在這種情況下，就需要對數(shù)據(jù)進行可回溯的脫敏方式，保證發(fā)送出去的數(shù)據(jù)不包含敏感信息，當項目開發(fā)單位開發(fā)完成后，將分析系統(tǒng)或結(jié)果數(shù)據(jù)回溯成真實的結(jié)果數(shù)據(jù)。3. 數(shù)據(jù)脫敏方式 按照數(shù)據(jù)處理方式的不同，可以將數(shù)據(jù)脫敏分為靜態(tài)數(shù)據(jù)脫敏和動態(tài)數(shù)據(jù)脫敏兩大類。替換算法即將需要脫敏的部分使用定義好的字符或字符串替換，生成類算法則更復雜一些，要求脫敏后的數(shù)據(jù)符合邏輯規(guī)則，即是“看起來很真實的假數(shù)據(jù)”。. 算法用例我們以用采用戶數(shù)據(jù)為例：ORG_NO（單位代碼）CONS_NO（戶號）CONS_NAME（戶名）ELEC_ADDR（用電地址）ELEC_TYPE_CODE（用電類型）LINE_IDTRADE_CODEVOLT_CODECONTRACT_CAP334083001103520128944浙江長興縣供電公司浙江省湖州市長興縣泗安鎮(zhèn)塔上行政村張家灣自然村402195200004710AC00101315334083001103520093806浙江奇碟汽車零部件有限公司浙江省湖州市長興縣泗安鎮(zhèn)五里渡行政村五里渡新村自然村100195200003720AC001011880334083001103520113877華能長興光伏發(fā)電有限責任公司浙江省湖州市長興縣泗安鎮(zhèn)三里亭行政村亭子頭自然村杰夫廠區(qū)100195200001710AC001021240334083001103520091731長興縣泗安鎮(zhèn)錢莊村村民委員會浙江省湖州市長興縣泗安鎮(zhèn)錢莊行政村劉小灣自然村100195200001540AC0010180334083001103520091731長興縣泗安鎮(zhèn)錢莊村村民委員會浙江省湖州市長興縣泗安鎮(zhèn)錢莊行政村劉小灣自然村403195200002540AC0010280334083001103520189655浙江物產(chǎn)汽車安全科技有限公司浙江省湖州市長興縣泗安鎮(zhèn)趙村村行政村趙村廟自然村100195200001610AC00102630334083001103520161668華能長興光伏發(fā)電有限責任公司浙江省湖州市長興縣泗安鎮(zhèn)三里亭村行政村亭子頭自然村402195200004410AC001012500334083001103520025635長興泗安嚴義明蔬菜種植園浙江省湖州市長興縣泗安鎮(zhèn)塔上村行政村塔上大灣自然村403195200002500AC0010180334083001103520128944浙江長興縣供電公司浙江省湖州市長興縣泗安鎮(zhèn)塔上行政村張家灣自然村402195200004710AC00101315 KAnonymity( k=2 )ORG_NOCONS_NOELEC_ADDRELEC_TYPE_CODELINE_IDTRADE_CODEVOLT_CODECONTRACT_CAP3340830011035201*浙江省湖州市長興縣泗安鎮(zhèn)402195200004000AC00