【文章內容簡介】 都是作為一種手段來偵測詐騙和浪費 ,但已經(jīng)成長到還需使用等目的測量和改善程序的執(zhí)行。然而 ,一些美國國土安全數(shù)據(jù)挖掘應用代表著重大的擴張的數(shù)量和范圍的數(shù)據(jù)來進行分析。吸引了高水平國會利益的兩個 努力包括恐怖主義信息了悟 (TIA)項目 (現(xiàn)在被下馬 )和計算機輔助的乘客預先篩分系統(tǒng) II (安全飛行 (現(xiàn)在取消和替換的 ) CAPPS II)項目。 如同在其他方面 ,而對數(shù)據(jù)挖掘技術能力是重要的 ,還有其他的實施和監(jiān)督問題可以影響一個項目的成功的結果。一個問題是數(shù)據(jù)質量 ,所謂的數(shù)據(jù)的準確性 和完整性進行了實證分析。第二個問題是互操作的數(shù)據(jù)挖掘軟件和數(shù)據(jù)庫在使用不同的代理機構。第三個因素是任務蠕變 ,或使用數(shù)據(jù)以外的任何其他目的的數(shù)據(jù)最初收集起來。第四個問題是隱私。那可能包括考慮問題的程度 ,政府有關部門應使用和混合商業(yè)數(shù)據(jù)與政府的數(shù)據(jù) ,數(shù)據(jù)來源是否正被用于其他用途以外的原始設計 ,和可能的應用 ,這些計劃的隱私法案。它被預期是數(shù)據(jù)挖掘的國會監(jiān)督項目將會隨著數(shù)據(jù)挖掘的努力繼續(xù)進化。這份報告將更新為事件令。 xxx 本科學士論文 13 內容 數(shù)據(jù)挖 掘是什么 ? ........................................ 14 數(shù)據(jù)挖掘的局限性 ....................................... 16 數(shù)據(jù)挖掘的利用 ......................................... 16 恐怖主義信息意識 (TIA)的程序 .................................... 18 計算機輔助乘客初篩檢測系統(tǒng) ..................................... 20 數(shù)據(jù)挖掘問題 ........................................... 24 數(shù)據(jù)質量 ....................................................... 24 互操作性 ....................................................... 24 使命蠕變 ....................................................... 25 隱私 ........................................................... 26 第 108 次國會立法 ....................................... 26 為進一步閱讀，可參看： .................................. 29 xxx 本科學士論文 14 數(shù)據(jù)挖掘 :概述 數(shù)據(jù)挖 掘是什么 ? 數(shù)據(jù)挖掘涉及到使用復雜的數(shù)據(jù)分析工具來發(fā)現(xiàn)以前不為人知的 ,有效的模式和在大數(shù)據(jù)集之間的關系。 【 1】 這些工具可以包括統(tǒng)計模型、數(shù)學演算法、機器學習方法 (算法改進系統(tǒng)的性能自動通過經(jīng)驗 ,如神經(jīng)網(wǎng)絡和決策樹 )。因此 ,數(shù)據(jù)挖掘是由超過收集和管理數(shù)據(jù) ,它還包括分析與預測。 數(shù)據(jù)挖掘可以執(zhí)行數(shù)據(jù)代表了在定量、文本、或多媒體形式。數(shù)據(jù)挖掘應用程序能使用的各種參數(shù) ,以檢查數(shù)據(jù)。他們包括協(xié)會 (模式 ,在那里一個事件被連接到另一個事件 ,比如購買一支鋼 筆和采購紙張 )、序或路徑分析 (模型在一個事件導致另一件事 ,如生育一個孩子和采購尿布 )、分類 (識別的新模式 ,比如購買之間的管道膠帶的巧合和塑料薄膜采購 )、聚類 (發(fā)現(xiàn)和視力記錄組以前未知的事實 ,如地理位置和品牌偏好 (發(fā)現(xiàn) ),和預測模式 ,一個可以做出合理的預測對未來的活動 ,如本研究之預測 ,顯示人們加入一項體育俱樂部可能鍛煉課 )。 【 2】 作為一個應用程序 ,相較于其他數(shù)據(jù)分析的應用軟件 ,如結構化查詢 (用于很多商業(yè)數(shù)據(jù)庫 )或統(tǒng)計分析軟件 ,數(shù)據(jù)挖掘代表一個不同類型的不同而不是學位的不一樣。許多更為簡單的分析工具應用一個 基于證明的方法 ,那些用戶開發(fā)一種假說 ,然后測試數(shù)據(jù) ,以證實或否認的假說。例如 ,一個用戶可能假設一名顧客買一把錘子 ,還會買一盒的指甲。該方法的有效性可以限制用戶的創(chuàng)造力開發(fā)多種假說 ,以及軟件的結構被利用了。相比之下 ,發(fā)現(xiàn)數(shù)據(jù)挖掘運用方法 ,算法可以檢測幾種多維數(shù)據(jù)的關系 ,同時 ,鑒別出那些獨特或頻繁的代言人。例如 ,一個硬件存儲工具可以比較其客戶的購買與置業(yè)、汽車的驅動類型、年齡、職業(yè)、收入、和住宅和商店之間的距離 [1]兩只烏鴉公司 ,《數(shù)據(jù)挖掘和知識發(fā)現(xiàn)的介紹》 (第 3版 )(波多馬克 ,MD:兩只烏鴉公司 ,1999)； Pieter Adriaans和 Dolf Zantinge，數(shù)據(jù)挖掘 (紐約 :艾迪衛(wèi)斯里 ,1996)。 [2] 為數(shù)據(jù)采集的一個針對技術的定義 ,請見 ]。 xxx 本科學士論文 15 CRS2 由于其復雜的能力是很重要的 ,兩個數(shù)據(jù)挖掘前兆作為一個成功的運用 。一個清晰的制定需要解決的問題 ,并獲得了相關數(shù)據(jù)。 [3] 數(shù)據(jù)挖掘反映的這個概念 ,一些觀察家認為數(shù)據(jù)挖掘只是一步在一個更 大的過程稱為數(shù)據(jù)庫中知識發(fā)現(xiàn) (KDD)。其它的步驟在 KDD過程中有秩序的進步 ,包括數(shù)據(jù)清理、數(shù)據(jù)集成、數(shù)據(jù)的選擇、數(shù)據(jù)轉換、數(shù)據(jù)挖掘、模式評價和知識呈現(xiàn)。 [4] 許多先進的技術和業(yè)務流程 ,這些都造成了日益增長的興趣 ,在這兩個數(shù)據(jù)挖掘中公共和私營部門。其中一些改變包括計算機網(wǎng)絡的增長 ,這可以用來連接數(shù)據(jù)庫的發(fā)展 ,增強搜索鏈接技術和神經(jīng)網(wǎng)絡等先進的算法 。蔓延的客戶機 /服務器計算模型 ,允許用戶訪問集中式數(shù)據(jù)資源 ,從桌面 。一個與能力的提高數(shù)據(jù)從各種不同的消息源結合成一個單一的可查找的來源。 [5] 除了這些改進數(shù) 據(jù)管理工具 ,利用增加的成本信息和降低儲存這也發(fā)揮了重要的作用。在過去的幾年中有了迅速增長的大量信息收集并存儲與之 ,一些觀察家暗示的數(shù)量 ,世界上的數(shù)據(jù)約雙打每年。 [6]在同一時間 ,成本的數(shù)據(jù)存儲有明顯的減少與美元每兆到便士每兆。同樣 ,計算能力已繼續(xù)每 18 24個月成倍飆漲 ,而的相對成本 ,計算能力已繼續(xù)減少。 [7] 數(shù)據(jù)挖掘已成為越來越普遍 ,在這兩個公共和私營部門。組織使用數(shù)據(jù)挖掘作為一種工具來調查客戶信息 ,減少浪費 ,欺詐和協(xié)助醫(yī)學的研究。然而 ,數(shù)據(jù)挖掘的擴散已經(jīng)提出了一些實施和監(jiān)督的問題。這些包括關心質 量的數(shù)據(jù)進行了實證分析 ,互操作的數(shù)據(jù)庫和軟件機構之間的、潛在的侵犯隱私的。同樣地 ,有一些擔心限制了數(shù)據(jù)挖掘工作 ,忽略了機構同樣強調他們的國土安全措施。 [3]約翰， “ 政府公然反抗數(shù)據(jù)挖掘系統(tǒng)的定義”華盛頓技術， 1999年 2月 22日， 1999年的功能 / ]。 [4] 韓佳偉與米舍利娜，數(shù)據(jù)挖掘 :概念和技術 (紐約 :摩根考夫曼出版商 ,2021年 ),第 7頁。 [5] 彼得 Adriaans和道夫 Zantinge,數(shù)據(jù)挖掘 (紐約 :艾迪衛(wèi)斯里 ,1996年 ),第 56頁。 [6] 同上，第 2頁。 [7] 兩只烏鴉公司，《數(shù)據(jù)挖掘和知識發(fā)現(xiàn)的介紹》 (第 3版 )， (波多馬克 ,MD:兩只烏鴉公司 ,1999),第 4頁。 xxx 本科學士論文 16 CRS3 數(shù)據(jù)挖掘的局限性 盡管數(shù)據(jù)挖掘產品可能是非常強大的工具 ,但他們不可以自給自足的應用。 要是成功的話 ，數(shù)據(jù)采集要求能構造分析并且解釋產品被創(chuàng)造的熟練的技術和分析專家。 結果，數(shù)據(jù)采集的局限是主要數(shù)據(jù)或與人員相關的，而不是與技術相關。 [8] 盡管數(shù)據(jù)挖掘能夠幫助揭示模式和 關系 ,但它不能告訴用戶這些模式的價值或意義。 這些類型的應用都必須由用戶使用來決定。 同樣的 ,發(fā)現(xiàn)模式的有效性取決于他們如何比較“ 真實世界 ” 的情況。例如 ,以評估效力的數(shù)據(jù)挖掘應用程序設計去識別在一個大水坑里的潛在的恐怖分子嫌疑人 ,用戶可以測試模型中使用的數(shù)據(jù) ,這些數(shù)據(jù)包含了關于有名的恐怖分子。然而 ,盡管可能再確定一個特定配置文件 ,但是這并不意味著應用程序將會確定嫌疑犯，因為其行為明顯偏離原模型。 另一組數(shù)據(jù)挖掘的限制是，雖然它可以識別行為和變量之間的連接，它并不一定確定的因果關系。 例如 ,一項應用也許識別出一種 行為模式的傾向 ,如購買機票 ,只是在飛機起飛之前不久買的 ,它關系到以下特征例如收入、教育程度水平和互聯(lián)網(wǎng)的使用。然而 ,那并不一定表明機票購買行為是由于一個或多個上述變量。事實上 ,個人的行為可能會受到一些附加變量 ,如職業(yè) (需要在短時間內出差 ),家庭狀況 (一個有病的親戚需要照顧 ),或一種嗜好 (利用最后一分鐘的折扣來訪問新目的地 )。 [9] 數(shù)據(jù)挖掘的利用 數(shù)據(jù)挖掘是以各種各樣的用途在私人和公共部門應用。工業(yè)如銀行、保險、醫(yī)藥、零售等通常使用數(shù)據(jù)挖掘技術可以降低他們的成本 ,增強研究 ,并增加銷售量。例如 ,保險和銀行等 行業(yè)使用的數(shù)據(jù)挖掘應用來偵測詐騙和協(xié)助風險評估 (例如 ,信用評分法 )。使用客戶所收集的數(shù)據(jù)在幾年內 ,公司可以發(fā)展模型 ,預測客戶有無一個良好的信用風險 ,或者是否意外權利要求可以欺騙、應當研究更密切。醫(yī)療團體有時用數(shù)據(jù)挖掘來幫助預測程序的有效性和醫(yī)學獎。制藥公司使用數(shù)據(jù)挖掘的化合物和遺傳資料來幫助指導研究新的治療疾病的方法。零售商可以利用收集的資料 ,通過親和 (例如 ,購物者的俱樂部會員卡 ,頻繁的宣傳單分 ,競賽活動 )來評估 [8] 同上，第 2頁。 [9] 同上，第 1頁。 xxx 本科學士論文 17 CRS4 產品的選擇和放置的有效性 ,贈 券提議 ,并決定購買哪些產品經(jīng)常在一起。公司如電話服務提供商和音樂俱樂部可以使用數(shù)據(jù)挖掘分析 ,建立一個 “ 流失 ” 來 評估哪一類的客戶可能繼續(xù)保持為用戶和哪些是可能會切換到一個競爭對手 。 [10] 在公共部門 ,數(shù)據(jù)挖掘應用最初被作為一種手段來偵測詐騙和浪費 ,但他們已經(jīng)成熟時也能使用等目的測量和改善程序的執(zhí)行。據(jù)報道 ,數(shù)據(jù)挖掘已經(jīng)幫助了聯(lián)邦政府恢復了數(shù)百萬美元的欺詐醫(yī)療保險支付。 [11]司法部已經(jīng)能夠使用數(shù)據(jù)挖掘來評估模式 ,調整資源犯罪以及相應的解決方法。同樣 ,該部門已經(jīng)使用了退伍軍人事務部數(shù)據(jù)挖掘來幫助預測人口變化在該區(qū)它服務 ,以便它能更好地估計其預算的需要。另一個例子是聯(lián)邦航空管理局 ,使用數(shù)據(jù)挖掘數(shù)據(jù)回顧飛機失事和推薦來識別常見缺陷的預防措施。 [12] 最近 , 數(shù)據(jù)挖掘作為一種為國土安全預報系統(tǒng)的重要工具越來越廣泛受到引用。一些觀察家建議數(shù)據(jù)挖掘能夠作為一種手段來識別恐怖活動 ,如資金轉移和通信 ,以及識別和跟蹤個人 ,又不會使恐怖分子逍遙法外 ,如通過旅行和出入境記錄。兩項舉措已經(jīng)引起了足夠的重視 ,包括現(xiàn)在中斷的信息意識恐怖主義進行 (TIA)項目。 [13] 舉辦由國防高級研究計劃局 (國防部高級研究計劃局 )和現(xiàn)在被取消的 計算機輔助的乘客預先篩分系統(tǒng) II (由運輸安全管理的CAPPS II) (TSA)開發(fā)。 CAPPS II被稱 “ 安全飛行 ” 的一個新的節(jié)目替換 。 [10] 兩只烏鴉公司 ,介紹數(shù)據(jù)挖掘和知識發(fā)現(xiàn) (第 3版 )》 (波多馬克 ,MD:兩只烏鴉公司 ,1999),第 5頁。帕特里克狄龍 ,數(shù)據(jù)挖掘 :改變商業(yè)數(shù)據(jù)轉化為競爭優(yōu)勢 ,智力資本 (亞特蘭大 GA:信息管理論壇 ,1998年 ),第 5– 6頁。 [11] 喬治 Cahlink水龍頭 ,“ 數(shù)據(jù)挖掘 ” 的趨勢 ,政府行政執(zhí)行雜志 ,2021年 10日， [12] 同上且更詳細。對于由評審的目的 ,數(shù)據(jù)挖掘進行聯(lián)邦部門和機構 ,看到美國總會計辦公室 ,數(shù)據(jù)挖掘 :聯(lián)邦政府努力涵蓋廣泛的用途 ,高報告 GAO04548(華盛頓 :2021年 5月 )。 [13] 這個項目最初是被確認為項目的總信息意識 ,直到重新命名為 “ 恐怖主義 ” DARPA已于2021年 5月公開信息意識項目。 部分的 FY2021 8131國防部的撥款法案 ( ,10887)禁止 TIA作為一個整體 ,同時讓未指明的次元 件的 TIA主動資助作為國防部的預算分級 ,根據(jù)本法規(guī)定國家外國情報的程序 ,它制約著信息的處理和分析美國公民。為進一步的詳細情況 ,則本規(guī)定 ,授權與RL31805看到 CRS報告 :國防撥款 ,FY2021和斯蒂芬 Daggett艾米 Belasco。 xxx 本科學士論文 18 CRS5 恐怖主義信息意識 (TIA)的程序 恐怖襲擊事件發(fā)生后 , 在 2021年 9月 11日 以來的這一個月 ,許多問題的研究進展 ,提出了對這個國家的智能工具和能力 ,以及政府的能力感知其他所謂的 “ 沉睡的細胞 ” ,如果需要 ,確實 ,它們是存在的。 針對這些問題之一是信息識別辦公室（ IAO的）在美國國防部高級研究計劃局（ DARPA） 2021年 1月 14日創(chuàng)建。 [14] IAO的作用是 “ 在部分領導的召集下 ,一個技術辦公室主任 ,現(xiàn)有的幾個 DARPA項目集