【文章內(nèi)容簡介】 式化數(shù)據(jù)，以及查詢處理方法的設計來克服這些限制。如今，硬盤正在逐步被固態(tài)驅動器取代，其他的技術如相變內(nèi)存正在出現(xiàn)。這些新型的存儲技術在隨機訪問 I/O 性能比順序I/O 性能之間不存在那么大的差異，這就要求我們重新思考數(shù)據(jù)處理系統(tǒng)中存儲子系統(tǒng)的設計。存儲子系統(tǒng)這種變化的影響基本上觸及數(shù)據(jù)處理的每個方面，包括查詢處理算法，查詢排隊算法，數(shù)據(jù)庫設計，并發(fā)性控制方法以及恢復方法。? 及時性數(shù)據(jù)大小的另一面是速度。需要處理的數(shù)據(jù)集越大，分析所需要的時間就越長。設計的系統(tǒng)如果可以有效地處理大數(shù)據(jù)，那么這樣的系統(tǒng)就能夠快速地處理一個給定大小的數(shù)據(jù)集。但是，這里的處理速度不完全是談到大數(shù)據(jù)時通常所談到的速度，在大數(shù)據(jù)中還需要應對數(shù)據(jù)獲取的速度的挑戰(zhàn)。現(xiàn)實中有很多情況需要立刻得到分析得結果。比如，如果懷疑一個欺詐性信用卡交易，在交易完成之前我們就應該標識出這樣的交易，這樣可以從根本上防止欺詐性交易的發(fā)生。很顯然，對一個用戶的消費歷史進行全面實時的分析是不太可行的。我們需要預先獲得部分的結果，以便我們可以通過在新數(shù)據(jù)上少量的漸進式計算就可以快速地做決定。給定一個大的數(shù)據(jù)集，通常需要找到滿足一個特定準則那些數(shù)據(jù)。在數(shù)據(jù)分析得過程中，這種類型的搜索有可能重復地發(fā)生。為了找到適合的數(shù)據(jù)，每次對整個數(shù)據(jù)集進行搜索顯然是不現(xiàn)實的。我們需要實現(xiàn)建立索引結構來快速找到符合要求的數(shù)據(jù)。這里的問題是，因為每個索引結構是按照一些類型的準則來設計的。當需要使用大數(shù)據(jù)時，有可能定義新型的準則，這時就需要設計新的索引結構來支持新的準則。例如，考慮一個流量管理系統(tǒng)，? 數(shù)據(jù)的隱私性數(shù)據(jù)的隱私性是另外一個重要的問題，特別是在大數(shù)據(jù)中顯得更加重要。對于電子醫(yī)療記錄，有嚴格的法律規(guī)定可以做什么，不可以做什么。對于其他的數(shù)據(jù)，就沒有那么硬性的規(guī)定，特別是在美國。然而，公眾還是很擔心個人數(shù)據(jù)的不正當使用，特別是通過鏈接多個數(shù)據(jù)源的數(shù)據(jù)。對隱私性的管理既是技術上的問題，也是社會學的問題，需要從這兩個領域去尋找解決方案。例如，我們考慮從基于位置的服務中收集到的數(shù)據(jù)。這些新的架構要求用戶把他們的位置信息共享給業(yè)務提供商，這是一個很明顯的隱私性問題。如果只是隱藏用戶的身份信息，而沒有隱藏他的位置信息，這并不是一個好的解決方案。因為可以從位置信息推理出被查詢者的身份信息。比如，我們可以通過幾個靜態(tài)的連接點（如基站）跟蹤用戶的位置信息。一段時間后，用戶就會留下一些蹤跡，這些蹤跡可以和特定的住所以及辦公地點相關聯(lián)，從而可以確定用戶的身份。其他幾種個人信息如關于個人健康（比如在癌癥治療中心去過）或者宗教偏好（比如去過教堂）等也可以通過觀察匿名用戶的移動和使用模式推理獲得。一般來說，研究結果表明在用戶的身份和他們的移動模式之間存在很強的相關性。將用戶的位置信息隱藏起來遠比隱藏用戶的身份信息要困難得多。這是因為在基于位置的服務中，為了成功的數(shù)據(jù)訪問和數(shù)據(jù)收集，就需要用到用戶的位置信息，而用戶的身份信息就可以不需要。還有很多其他的具有挑戰(zhàn)性的研究課題。比如，我們沒有找到好的數(shù)據(jù)共享方法，如何在限制個人信息披露的前提下，還保證在共享數(shù)據(jù)中有足夠有用的信息。目前關于差異化隱私的研究是解決這個問題的重要一步，但是這個研究刪除掉的信息太多了，在很多實際的情況中無法用。另外，實際中的數(shù)據(jù)不是靜態(tài)的，而是會隨著時間的推移發(fā)生變化并且變得更大。還有一個重要方向是重新思考在大數(shù)據(jù)中信息共享的安全性研究。今天很多的在線業(yè)務都要求我們共享個人信息，但是除了訪問控制之外，對于其他的方面如共享數(shù)據(jù)意味著什么，共享數(shù)據(jù)是如何鏈接的，以及如何讓用戶對數(shù)據(jù)的共享能夠進行更細顆粒的控制等則一無所知。? 人力的介入與協(xié)作盡管機器分析取得了很大的進展，但還是存在人可以輕易檢測出的很多模式，計算機算法卻很難做到。理想的方案是，大數(shù)據(jù)分析并不完全是計算機算法，而是設計成明確地把人放到分析的環(huán)路中。新的可視化分析嘗試按照這種原理去做，至少是在整個管道中建模和分析得環(huán)節(jié)。實際上在整個管道的所有環(huán)節(jié)人力的介入都有類似的價值。在今天復雜的世界中，通常需要來自各個不同的領域的多個專家去真正理解到底在發(fā)生什么。一個大數(shù)據(jù)分析系統(tǒng)應該支持來自多個專家的輸入，并共享分析的結果。這些專家有可能在空間和時間上是分離的，數(shù)據(jù)系統(tǒng)應該接受這種分布式的專家輸入，并支持多個專家之間的協(xié)作。一個現(xiàn)在比較流行的利用人的聰明才智來解決問題的新方法眾包的方式。Wikipedia在線百科全書就是眾包數(shù)據(jù)的最著名的例子，信息時由未經(jīng)審查的陌生人提供的，通常他們提供的信息時正確的。但是，還是存在一些個人有其他的動機和角色，有些人出于某種原因故意提供錯誤的信息以誤導別人。雖然大部分這種錯誤會被其他的人發(fā)現(xiàn)并且糾正，我們需要技術來支撐。我們也需要一個框架來分析這些帶有矛盾陳述的眾包數(shù)據(jù)。作為人，我們可以查看關于飯店的評價，有些是正面的，有些是負面的，然后我們形成一個總結性評估，基于此評估我們可以決定是否去這個飯店試試。我們希望計算機能夠做類似的事情。在一種特定類型的眾包，即參與感測中不確定性和錯誤的問題更加顯著。在這種情況下，每個持有手機的人可以作為一個多模的傳感器，收集各種類型的數(shù)據(jù)，比如圖片，圖像，聲音，時間，速度，方向，加速度等數(shù)據(jù)。這里比較大的挑戰(zhàn)是數(shù)據(jù)搜集設備內(nèi)在的不確定性。收集到的數(shù)據(jù)在時間和空間上的相關性可以用來更好地評估數(shù)據(jù)的正確性。 數(shù)據(jù)采集 數(shù)據(jù)清洗隨著信息化建設的不斷深入，企事業(yè)單位積累了大量的電子數(shù)據(jù)，這些數(shù)據(jù)非常重要。為了使信息系統(tǒng)中的數(shù)據(jù)更準確、一致，能支持正確決策，就要求所管理的數(shù)據(jù)準確、可靠。因此，企業(yè)數(shù)據(jù)質(zhì)量的管理正在獲得越來越多的關注。但是，由于各種原因，如數(shù)據(jù)錄入錯誤、不同來源數(shù)據(jù)引起的不同表示方法、數(shù)據(jù)間的不一致等，導致企業(yè)現(xiàn)有系統(tǒng)數(shù)據(jù)庫中存在這樣或那樣的臟數(shù)據(jù)，主要表現(xiàn)為：不正確的字段值、重復的記錄、拼寫問題、不合法值、空值、不一致值、縮寫詞的不同，不遵循引用完整性等。根據(jù)“進去的是垃圾，出來的也是垃圾（garbage in，garbage out）”這條原理，若不進行清理，這些臟數(shù)據(jù)會扭曲從數(shù)據(jù)中獲得的信息，影響信息系統(tǒng)的運行效果，也為企業(yè)構建數(shù)據(jù)倉庫、建立決策支持系統(tǒng)、應用商務智能帶來隱患。顯見，數(shù)據(jù)清理問題的重要性是不言而喻的。另外，從市場上眾多的相關產(chǎn)品，也可以明白這一點。然而，由于數(shù)據(jù)清理本身的一些特點，比如：1) 數(shù)據(jù)清理是具體應用問題，經(jīng)常要具體問題具體分析，難于歸納出通用方法；2) 數(shù)據(jù)清理問題的數(shù)學建模困難。對于數(shù)據(jù)清理有很多內(nèi)容值得研究，比如：3) 在數(shù)據(jù)清理的研究中，盡管檢測相似重復記錄受到最多的關注，采取了許多措施，但檢測效率與檢測精度并不令人滿意。特別是在數(shù)據(jù)量非常大時，耗時太多，有待于更好的方法。在相似重復記錄檢測中采用長度過濾方法優(yōu)化相似檢測算法，避免了不必要的編輯距離計算，從而提高了相似重復記錄的檢測效率；4) 在數(shù)據(jù)清理的相關研究中，數(shù)據(jù)清理整體框架的研究正逐漸成為研究的熱點。對此，提出一個可擴展的數(shù)據(jù)清理軟件平臺，該軟件平臺具有開放的規(guī)則庫和算法庫，通過在規(guī)則庫中定義清理規(guī)則以及從算法庫中選擇合適的清理算法，可使該軟件平臺適用于不同的數(shù)據(jù)源，從而使其具有較強的通用性和適應性；5) 目前，對數(shù)據(jù)清理的研究主要集中在結構化數(shù)據(jù)上。由于半結構化數(shù)據(jù) XML（ Extensible Markup Language，可擴展標識語言）的快速增長以及廣泛應用，其在數(shù)據(jù)清理中越來越重要。為了使 XML 數(shù)據(jù)源中的數(shù)據(jù)更準確、一致，如何清理這些 XML 相似重復數(shù)據(jù)，都是值得研究的；6) 另外，關于數(shù)據(jù)清理在一些業(yè)務領域中的應用也是值得研究。當然，對任何現(xiàn)實世界中的數(shù)據(jù)源，人工完成數(shù)據(jù)清理是沒有問題的。一些單位每年要花費上百萬元來查找數(shù)據(jù)錯誤，手工清理是勞累的、費時的和易出錯的。對于少量數(shù)據(jù)的數(shù)據(jù)源來說，采用人工清理就可以了，但對于規(guī)模較大的數(shù)據(jù)源，手工清理是不可行的，必須借助信息技術，采用自動清理方法。當然，在自動清理的過程中，仍需要人來參與，我們要做的就是盡可能減少人的參與。 數(shù)據(jù)存儲 數(shù)據(jù)并行處理 數(shù)據(jù)分析 可視化 傳統(tǒng)解決方案的分析3 相關技術的研究 參考模型框架 數(shù)據(jù)采集 結構化數(shù)據(jù)的采集 半結構化數(shù)據(jù)的采集Inter 上的數(shù)據(jù)與傳統(tǒng)的數(shù)據(jù)庫中的數(shù)據(jù)不同，傳統(tǒng)的數(shù)據(jù)庫都有一定的數(shù)據(jù)模型，可以根據(jù)模型來具體描述特定的數(shù)據(jù)，同時可以很好地定義和解釋相關的查詢語言。而Inter 上的數(shù)據(jù)非常復雜，沒有特定的模型描述，每一站點的數(shù)據(jù)都各自獨立設計，并且數(shù)據(jù)本身具有自述性和動態(tài)可變性，其結構也不可琢磨，是一種我們稱之為半結構化數(shù)據(jù)。所謂半結構化是相對于結構化(傳統(tǒng)數(shù)據(jù)庫)和非結構化(如一本書、一張圖片等) 而言的。但是 Inter 上存在的數(shù)據(jù)既不是完全結構化的也不是完全非結構化的，因為它的頁面也具有一定的描述層次的，存在一定的結構，所以我們將它稱為半結構化的數(shù)據(jù)。如果想要利用 Inter 上的數(shù)據(jù)進行數(shù)據(jù)挖掘，必須先要研究站點之間異構數(shù)據(jù)的集成問題，只有將這些站點的數(shù)據(jù)都集成起來，提供給用戶一個統(tǒng)一的視圖，才有可能從巨大的數(shù)據(jù)資源中獲取所需的東西。其次，還要解決 Web 上的數(shù)據(jù)查詢問題，因為如果所需的數(shù)據(jù)不能很有效地得到，對這些數(shù)據(jù)進行分析、集成、處理就無從談起。針對 Inter 上的數(shù)據(jù)半結構化的特點，尋找一個半結構化的數(shù)據(jù)模型則成為了解決上述問題的關鍵所在。此外，除了要定義這樣一個半結構化數(shù)據(jù)模型外，還需要一項技術能夠自動地從現(xiàn)有數(shù)據(jù)中將這個模型抽取出來，這就是所謂的模型抽取技術。因此半結構化數(shù)據(jù)模型及其抽取技術是面向 Inter 的數(shù)據(jù)挖掘技術實施的前提。? 半結構化數(shù)據(jù)的定義半結構化數(shù)據(jù)有兩層含義，一種是指在物理層上缺少結構的數(shù)據(jù)，另一種是指在邏輯層上缺少結構的數(shù)據(jù)。有一些結構化數(shù)據(jù)，為用于 web 頁面的顯示而與 html 語言的標記符號嵌在一起，構成了物理上的半結構化數(shù)據(jù)。Inter 中有大量豐富的數(shù)據(jù)，這些數(shù)據(jù)多存在于 html 文件中，沒有嚴格的結構及類型定義，這些都是邏輯層半結構化的數(shù)據(jù)。Inter 上的數(shù)據(jù)與傳統(tǒng)數(shù)據(jù)庫中的數(shù)據(jù)不同，傳統(tǒng)的數(shù)據(jù)庫都有一定的數(shù)據(jù)模型，可以，沒有特定的模型描述，每一站點的數(shù)據(jù)都各自獨立設計，Inter 上的數(shù)據(jù)具有一定的結構性，但因自述層次的存在，是一種非完全結構化的數(shù)據(jù)，這也被稱為半結構化數(shù)據(jù)。半結構化是上數(shù)據(jù)的最大特點。半結構化數(shù)據(jù)主要來源有 3 方面:在 WWW 等對存儲數(shù)據(jù)無嚴格模式限制的情形下，常見的有 HTML、XML 和SGML 文件；在郵件、電子商務、檢索和病歷處理中，存在著大量結構和內(nèi)容均不固定的數(shù)據(jù)異構信息源集成情形下，由于信息源上的互操作要存取的信息源范圍很廣，包括各類數(shù)據(jù)庫、知識庫、電子圖書館和文件系統(tǒng)等。半結構化數(shù)據(jù)具有如下特點:隱含的模式信息：雖然具有一定的結構，但結構和數(shù)據(jù)混合在一起，沒有顯式的模式定義(HMTL 文件是一個典型) 。不規(guī)則的結構：一個數(shù)據(jù)集合可能由異構的元素組成，或用不同類型的數(shù)據(jù)表示相同的信息。沒有嚴格的類型約束：由于沒有一個預先定義的模式，以及數(shù)據(jù)在結構上的不規(guī)則性，導致缺乏對數(shù)據(jù)的嚴格約束。? 半結構化數(shù)據(jù)的數(shù)據(jù)模型半結構化數(shù)據(jù)是缺乏嚴格、完整結構的數(shù)據(jù)。這類數(shù)據(jù)并非毫無結構，但它們的結構可能是隱含的、不完整的，甚至可能是需要不斷修改的。要對這樣的數(shù)據(jù)進行查詢等處理，首要問題就是對半結構化的數(shù)據(jù)進行描述。由于沒有強制性模式限制，使半結構化數(shù)據(jù)具有很大靈活性，能夠滿足網(wǎng)絡這種復雜分布式環(huán)境需要，但同時也給數(shù)據(jù)描述和處理帶來了很大困難。? 半結構化數(shù)據(jù)的表示具體地，象 WWW 這種數(shù)據(jù)模型可表示成 3 種關系： {Obj(oid)，Ref(source，label，destination)，Val(oid，value)} 其中 Obj 表示一個無限的對象集合，例如 WWW 上的網(wǎng)頁，網(wǎng)頁中的內(nèi)容都可看成是對象。 Ref(o1，label，o2)表示從源對象o1 到目標對象 o2 間存在一種聯(lián)系，這種聯(lián)系的語義信息用標記 label 表示。在我們的實現(xiàn)中，這種聯(lián)系不僅包括了網(wǎng)頁間存在的鏈接，而且當某個網(wǎng)頁 Pageobj 包含多個具有相同意義的對象 o1，o2，…， on 時，可以引入一個虛擬對象 Vobj，這樣，網(wǎng)頁代表的對象Pageobj 作為源對象，虛擬對象 Vobj 作為其目標對象，而 o1，o2，…，on 又作為 Vobj的目標對象，并且 Vobj 與 o1，o2，…，on 的聯(lián)系都有相同的標記。如，在我校圖書館的資源的網(wǎng)頁中，包含對象期刊網(wǎng)，而其具體的的題目等內(nèi)容在另一個頁面，這樣對象中國期刊網(wǎng)與鏈接所指頁面就是源與目標對象的關系。關系 Val（oid，value）提供了原子對象的取值信息，例如可以將每一篇論文作為一個對象，它的值為論文的題目。 非結構化文本數(shù)據(jù)中信息的抽取 數(shù)據(jù)清洗和數(shù)據(jù)質(zhì)量的保證 數(shù)據(jù)質(zhì)量的概念及分類數(shù)據(jù)質(zhì)量是一個相對的概念。在不同的時期，數(shù)據(jù)質(zhì)量有著不同的定義和評估標準。20 世紀 80 年代以來，國際上普遍認為，數(shù)據(jù)質(zhì)量的標準基本上是圍繞著以提高數(shù)據(jù)準確性為出發(fā)點和原則的。然而，隨著質(zhì)量本身的含義不斷進行延伸，數(shù)據(jù)質(zhì)量的概念也由原來的狹義轉變?yōu)閺V義，其中，基于實際需要，融入了許多數(shù)據(jù)質(zhì)量的考察和評判的標準，準確性不再是衡量數(shù)據(jù)質(zhì)量的惟一指標。上世紀 90 年代，美國的麻省理工學院開展了全面數(shù)據(jù)質(zhì)量管理 TDQM(Total Data Quality Management)的活動，該活動借鑒了物理產(chǎn)品質(zhì)量管理體系的成功經(jīng)驗，提出