【正文】 流式數(shù)據(jù)脫敏的優(yōu)勢是從數(shù)據(jù)發(fā)生的時(shí)刻就進(jìn)行了數(shù)據(jù)處理。結(jié)合公司制度，規(guī)范，法務(wù)等管理，實(shí)現(xiàn)在盡可能保護(hù)用戶隱私數(shù)據(jù)，減少數(shù)據(jù)泄露風(fēng)險(xiǎn)的前提下，最大化保留數(shù)據(jù)分析挖掘的價(jià)值。4. 大數(shù)據(jù)的數(shù)據(jù)脫敏技術(shù)大數(shù)據(jù)平臺通過將所有數(shù)據(jù)整合起來，充分分析與挖掘數(shù)據(jù)的內(nèi)在價(jià)值，為業(yè)務(wù)部門提供數(shù)據(jù)平臺，數(shù)據(jù)產(chǎn)品與數(shù)據(jù)服務(wù)。外發(fā)給第三方公司進(jìn)行開發(fā)測試或是數(shù)據(jù)分析。在KAnonymity的基礎(chǔ)上，每個(gè)數(shù)據(jù)集中，其敏感信息列有 L 個(gè)不同的值，攻擊者只有 1/L 的幾率獲得正確的敏感信息。算法步驟：216。脫敏方案的制定主要依靠脫敏策略和脫敏算法的復(fù)用來實(shí)現(xiàn)，通過配置和擴(kuò)展脫密算法以制定最優(yōu)方案。 保證測試、開發(fā)、應(yīng)用階段的數(shù)據(jù)關(guān)聯(lián)性 通過脫敏策略和算法，保證脫敏數(shù)據(jù)有效性（保持原有數(shù)據(jù)類型和業(yè)務(wù)格式不變）、完整性（保證長度不變、數(shù)據(jù)含義不丟失）、關(guān)系性（保持表間、表內(nèi)數(shù)據(jù)關(guān)聯(lián)關(guān)系）。工業(yè)和信息化部編制的《信息安全技術(shù) 公共及商用服務(wù)信息系統(tǒng)個(gè)人信息保護(hù)指南》明確要求,處理個(gè)人信息應(yīng)當(dāng)具有特定、明確和合理的目的,應(yīng)當(dāng)在個(gè)人信息主體知情的情況下獲得個(gè)人信息主體的同意,應(yīng)當(dāng)在達(dá)成個(gè)人信息使用目的之后刪除個(gè)人信息。隨著大數(shù)據(jù)時(shí)代的到來,大數(shù)據(jù)商業(yè)價(jià)值的挖掘,用戶的精準(zhǔn)定位,大數(shù)據(jù)中蘊(yùn)藏的巨大商業(yè)價(jià)值被逐步挖掘出來,但是同時(shí)也帶來了巨大的挑戰(zhàn)–個(gè)人隱私信息 的保護(hù)。對于國家電網(wǎng)相對固定的業(yè)務(wù)數(shù)據(jù)，可以采用人工甄別，明確指定那些列、那些庫的數(shù)據(jù)是需要脫敏，這些數(shù)據(jù)一般數(shù)據(jù)結(jié)構(gòu)和數(shù)據(jù)長度不會(huì)有變化，大部分為數(shù)值型和固定長度的字符。216。 如果對于任意相等集內(nèi)所有記錄對應(yīng)的敏感數(shù)據(jù)的集合，包含 L 個(gè) “合適” 值，則稱該相等集是滿足 LDeversity 。一般可分為替換算法和生成算法兩大類。通過動(dòng)態(tài)脫敏功能，能夠幫助國家電網(wǎng)公司快速、低風(fēng)險(xiǎn)、平穩(wěn)的提供生產(chǎn)數(shù)據(jù)庫的實(shí)時(shí)隱私保護(hù)。因此大數(shù)據(jù)脫敏平臺的設(shè)計(jì)目標(biāo)并不是實(shí)現(xiàn)工具算法用來完全抹去全部的用戶標(biāo)識信息，而是包括如下幾個(gè)目標(biāo)：216。bolt要么把數(shù)據(jù)保存到某種存儲器，要么把數(shù)據(jù)傳遞給其它的bolt。Sqoop是適用于關(guān)系型數(shù)據(jù)庫的數(shù)據(jù)采集，可以通過建立中間表，編寫UDF程序的方式，最后通過任務(wù)調(diào)度程序，批量的對數(shù)據(jù)進(jìn)行數(shù)據(jù)脫敏。1. 基于Storm的流式數(shù)據(jù)脫敏Storm是一個(gè)分布式的，可靠的，容錯(cuò)的數(shù)據(jù)流處理系統(tǒng)。用戶隱私數(shù)據(jù)保護(hù)與挖掘用戶數(shù)據(jù)價(jià)值是兩個(gè)互相沖突的矛盾體，徹底的數(shù)據(jù)脫敏，需要抹去全部的用戶標(biāo)識信息，使得數(shù)據(jù)潛在的分析價(jià)值大大降低。通常依據(jù)用戶的角色、職責(zé)和其他IT 定義身份特征，動(dòng)態(tài)的對生產(chǎn)數(shù)據(jù)庫返回的數(shù)據(jù)進(jìn)行專門的屏蔽、加密、隱藏和審計(jì)，可確保不同級別的用戶按照其身份特征恰如其分的訪問敏感數(shù)據(jù)，并且不需要對生產(chǎn)數(shù)據(jù)庫中的數(shù)據(jù)進(jìn)行任何改變?？苫謴?fù)類，指脫敏后的數(shù)據(jù)可以通過一定的方式，可以恢復(fù)成原來的敏感數(shù)據(jù)，此類脫敏規(guī)則主要指各類加解密算法規(guī)則。對移除標(biāo)識列的數(shù)據(jù)根據(jù)半標(biāo)識列進(jìn)行分組，每組最少有 k 條記錄，每組中至少有 k1 條記錄的半標(biāo)識列的值與該記錄相同。216。2. 脫敏方案. 脫敏流程數(shù)據(jù)脫敏的流程一般分為：敏感數(shù)據(jù)發(fā)現(xiàn)、敏感數(shù)據(jù)梳理、脫敏方案制定、脫敏任務(wù)執(zhí)行四大步驟，結(jié)合數(shù)據(jù)脫敏算法、數(shù)據(jù)脫敏規(guī)則以及脫敏的環(huán)境來達(dá)到最佳的數(shù)據(jù)脫敏效果。這樣，就可以在開發(fā)、測試和其它非生產(chǎn)環(huán)境以及外包環(huán)境中安全地使用脫敏后的真實(shí)數(shù)據(jù)集。對于個(gè)人一般信息的處理可以建立在默許同意的基礎(chǔ)上,只要個(gè)人信息主體沒有明確表示反對,便可收集和利用。216。. 脫敏算法. 脫敏算法特征通常根據(jù)不同數(shù)據(jù)特征選擇不同的脫敏算法，對常見數(shù)據(jù)如姓名、證件號、銀行賬戶、金額、日期、住址、電話號碼、Email 地址、車牌號、車架號、企業(yè)名稱、工商注冊號、組織機(jī)構(gòu)代碼、納稅人識別號等敏感數(shù)據(jù)進(jìn)行脫敏，脫敏算法通常包括屏蔽、變形、替換、隨機(jī)、格式保留加密（FPE）和強(qiáng)加密算法（如AES ）。 泛化半標(biāo)識列算法優(yōu)缺點(diǎn)：216。TCloseness 約束則期望減少B1 和 B2 之間的信息量差距，減少攻擊者從敏感數(shù)據(jù)的全局分布信息和相等集分布信息之間得到更多的個(gè)人隱私信息。該脫敏方式適用于項(xiàng)目開發(fā)單位需要獲取完整的數(shù)據(jù)才能保證數(shù)據(jù)分析工作的順利完成，對于數(shù)據(jù)提供方，又不希望敏感數(shù)據(jù)泄漏出去，在這種情況下，就需要對數(shù)據(jù)進(jìn)行可回溯的脫敏方式，保證發(fā)送出去的數(shù)據(jù)不包含敏感信息，當(dāng)項(xiàng)目開發(fā)單位開發(fā)完成后，將分析系統(tǒng)或結(jié)果數(shù)據(jù)回溯成真實(shí)的結(jié)果數(shù)據(jù)。大數(shù)據(jù)平臺一般通過用戶認(rèn)證，權(quán)限管理以及數(shù)據(jù)加密等技術(shù)保證數(shù)據(jù)的安全，但是這并不能完全從技術(shù)上保證數(shù)據(jù)的安全。 可審計(jì)。數(shù)據(jù)處理流程如下圖：2. 基于Spark Streaming的流式數(shù)據(jù)脫敏 說到微批處理，如果你必須有狀態(tài)的計(jì)算，恰好一次的遞送，并且不介意高延遲的話，那么可以考慮Spark Streaming，特別如果你還計(jì)劃圖形操作、機(jī)器學(xué)習(xí)或者訪問SQL的話，Apache Spark的stack允許你將一些library與數(shù)據(jù)流相結(jié)合（Spark SQL，Mllib，GraphX），它們會(huì)提供便捷的一體化編程模型。由于storm的數(shù)據(jù)處理方式是增量的實(shí)時(shí)處理，我們的數(shù)據(jù)脫敏模塊應(yīng)該具備增量數(shù)據(jù)脫敏的功能。 可管理。3：保護(hù)通用帳戶風(fēng)險(xiǎn)數(shù)據(jù)庫維護(hù)人員常常會(huì)使用強(qiáng)度很弱的通用密碼，便于開發(fā)人員和DBA訪問和監(jiān)控生產(chǎn)數(shù)據(jù)庫，便利的同時(shí)也為獲取關(guān)鍵隱私數(shù)據(jù)開了方便之門。