【正文】 篇論文作為一個對象，它的值為論文的題目。在我們的實現(xiàn)中，這種聯(lián)系不僅包括了網(wǎng)頁間存在的鏈接，而且當某個網(wǎng)頁 Pageobj 包含多個具有相同意義的對象 o1，o2，…， on 時，可以引入一個虛擬對象 Vobj，這樣，網(wǎng)頁代表的對象Pageobj 作為源對象，虛擬對象 Vobj 作為其目標對象，而 o1，o2，…，on 又作為 Vobj的目標對象，并且 Vobj 與 o1，o2，…，on 的聯(lián)系都有相同的標記。? 半結構化數(shù)據(jù)的表示具體地，象 WWW 這種數(shù)據(jù)模型可表示成 3 種關系： {Obj(oid)，Ref(source，label，destination)，Val(oid，value)} 其中 Obj 表示一個無限的對象集合，例如 WWW 上的網(wǎng)頁，網(wǎng)頁中的內(nèi)容都可看成是對象。要對這樣的數(shù)據(jù)進行查詢等處理，首要問題就是對半結構化的數(shù)據(jù)進行描述。? 半結構化數(shù)據(jù)的數(shù)據(jù)模型半結構化數(shù)據(jù)是缺乏嚴格、完整結構的數(shù)據(jù)。不規(guī)則的結構：一個數(shù)據(jù)集合可能由異構的元素組成，或用不同類型的數(shù)據(jù)表示相同的信息。半結構化數(shù)據(jù)主要來源有 3 方面:在 WWW 等對存儲數(shù)據(jù)無嚴格模式限制的情形下，常見的有 HTML、XML 和SGML 文件；在郵件、電子商務、檢索和病歷處理中，存在著大量結構和內(nèi)容均不固定的數(shù)據(jù)異構信息源集成情形下，由于信息源上的互操作要存取的信息源范圍很廣，包括各類數(shù)據(jù)庫、知識庫、電子圖書館和文件系統(tǒng)等。Inter 上的數(shù)據(jù)與傳統(tǒng)數(shù)據(jù)庫中的數(shù)據(jù)不同，傳統(tǒng)的數(shù)據(jù)庫都有一定的數(shù)據(jù)模型，可以，沒有特定的模型描述，每一站點的數(shù)據(jù)都各自獨立設計，Inter 上的數(shù)據(jù)具有一定的結構性，但因自述層次的存在，是一種非完全結構化的數(shù)據(jù)，這也被稱為半結構化數(shù)據(jù)。有一些結構化數(shù)據(jù)，為用于 web 頁面的顯示而與 html 語言的標記符號嵌在一起，構成了物理上的半結構化數(shù)據(jù)。因此半結構化數(shù)據(jù)模型及其抽取技術是面向 Inter 的數(shù)據(jù)挖掘技術實施的前提。針對 Inter 上的數(shù)據(jù)半結構化的特點，尋找一個半結構化的數(shù)據(jù)模型則成為了解決上述問題的關鍵所在。如果想要利用 Inter 上的數(shù)據(jù)進行數(shù)據(jù)挖掘，必須先要研究站點之間異構數(shù)據(jù)的集成問題，只有將這些站點的數(shù)據(jù)都集成起來，提供給用戶一個統(tǒng)一的視圖，才有可能從巨大的數(shù)據(jù)資源中獲取所需的東西。所謂半結構化是相對于結構化(傳統(tǒng)數(shù)據(jù)庫)和非結構化(如一本書、一張圖片等) 而言的。 數(shù)據(jù)存儲 數(shù)據(jù)并行處理 數(shù)據(jù)分析 可視化 傳統(tǒng)解決方案的分析3 相關技術的研究 參考模型框架 數(shù)據(jù)采集 結構化數(shù)據(jù)的采集 半結構化數(shù)據(jù)的采集Inter 上的數(shù)據(jù)與傳統(tǒng)的數(shù)據(jù)庫中的數(shù)據(jù)不同，傳統(tǒng)的數(shù)據(jù)庫都有一定的數(shù)據(jù)模型，可以根據(jù)模型來具體描述特定的數(shù)據(jù)，同時可以很好地定義和解釋相關的查詢語言。對于少量數(shù)據(jù)的數(shù)據(jù)源來說，采用人工清理就可以了，但對于規(guī)模較大的數(shù)據(jù)源，手工清理是不可行的，必須借助信息技術，采用自動清理方法。當然，對任何現(xiàn)實世界中的數(shù)據(jù)源，人工完成數(shù)據(jù)清理是沒有問題的。由于半結構化數(shù)據(jù) XML（ Extensible Markup Language，可擴展標識語言）的快速增長以及廣泛應用，其在數(shù)據(jù)清理中越來越重要。在相似重復記錄檢測中采用長度過濾方法優(yōu)化相似檢測算法，避免了不必要的編輯距離計算，從而提高了相似重復記錄的檢測效率；4) 在數(shù)據(jù)清理的相關研究中，數(shù)據(jù)清理整體框架的研究正逐漸成為研究的熱點。對于數(shù)據(jù)清理有很多內(nèi)容值得研究，比如：3) 在數(shù)據(jù)清理的研究中，盡管檢測相似重復記錄受到最多的關注，采取了許多措施，但檢測效率與檢測精度并不令人滿意。另外，從市場上眾多的相關產(chǎn)品，也可以明白這一點。根據(jù)“進去的是垃圾，出來的也是垃圾（garbage in，garbage out）”這條原理，若不進行清理，這些臟數(shù)據(jù)會扭曲從數(shù)據(jù)中獲得的信息，影響信息系統(tǒng)的運行效果，也為企業(yè)構建數(shù)據(jù)倉庫、建立決策支持系統(tǒng)、應用商務智能帶來隱患。因此，企業(yè)數(shù)據(jù)質量的管理正在獲得越來越多的關注。 數(shù)據(jù)采集 數(shù)據(jù)清洗隨著信息化建設的不斷深入，企事業(yè)單位積累了大量的電子數(shù)據(jù)，這些數(shù)據(jù)非常重要。這里比較大的挑戰(zhàn)是數(shù)據(jù)搜集設備內(nèi)在的不確定性。在一種特定類型的眾包，即參與感測中不確定性和錯誤的問題更加顯著。作為人，我們可以查看關于飯店的評價，有些是正面的，有些是負面的，然后我們形成一個總結性評估，基于此評估我們可以決定是否去這個飯店試試。雖然大部分這種錯誤會被其他的人發(fā)現(xiàn)并且糾正，我們需要技術來支撐。Wikipedia在線百科全書就是眾包數(shù)據(jù)的最著名的例子，信息時由未經(jīng)審查的陌生人提供的，通常他們提供的信息時正確的。這些專家有可能在空間和時間上是分離的，數(shù)據(jù)系統(tǒng)應該接受這種分布式的專家輸入，并支持多個專家之間的協(xié)作。在今天復雜的世界中，通常需要來自各個不同的領域的多個專家去真正理解到底在發(fā)生什么。新的可視化分析嘗試按照這種原理去做，至少是在整個管道中建模和分析得環(huán)節(jié)。? 人力的介入與協(xié)作盡管機器分析取得了很大的進展，但還是存在人可以輕易檢測出的很多模式，計算機算法卻很難做到。還有一個重要方向是重新思考在大數(shù)據(jù)中信息共享的安全性研究。目前關于差異化隱私的研究是解決這個問題的重要一步，但是這個研究刪除掉的信息太多了，在很多實際的情況中無法用。還有很多其他的具有挑戰(zhàn)性的研究課題。將用戶的位置信息隱藏起來遠比隱藏用戶的身份信息要困難得多。其他幾種個人信息如關于個人健康（比如在癌癥治療中心去過）或者宗教偏好（比如去過教堂）等也可以通過觀察匿名用戶的移動和使用模式推理獲得。比如，我們可以通過幾個靜態(tài)的連接點（如基站）跟蹤用戶的位置信息。如果只是隱藏用戶的身份信息，而沒有隱藏他的位置信息，這并不是一個好的解決方案。例如，我們考慮從基于位置的服務中收集到的數(shù)據(jù)。然而，公眾還是很擔心個人數(shù)據(jù)的不正當使用，特別是通過鏈接多個數(shù)據(jù)源的數(shù)據(jù)。對于電子醫(yī)療記錄，有嚴格的法律規(guī)定可以做什么，不可以做什么。當需要使用大數(shù)據(jù)時，有可能定義新型的準則，這時就需要設計新的索引結構來支持新的準則。我們需要實現(xiàn)建立索引結構來快速找到符合要求的數(shù)據(jù)。在數(shù)據(jù)分析得過程中，這種類型的搜索有可能重復地發(fā)生。我們需要預先獲得部分的結果，以便我們可以通過在新數(shù)據(jù)上少量的漸進式計算就可以快速地做決定。比如，如果懷疑一個欺詐性信用卡交易，在交易完成之前我們就應該標識出這樣的交易，這樣可以從根本上防止欺詐性交易的發(fā)生。但是，這里的處理速度不完全是談到大數(shù)據(jù)時通常所談到的速度，在大數(shù)據(jù)中還需要應對數(shù)據(jù)獲取的速度的挑戰(zhàn)。需要處理的數(shù)據(jù)集越大，分析所需要的時間就越長。存儲子系統(tǒng)這種變化的影響基本上觸及數(shù)據(jù)處理的每個方面，包括查詢處理算法，查詢排隊算法，數(shù)據(jù)庫設計，并發(fā)性控制方法以及恢復方法。如今，硬盤正在逐步被固態(tài)驅動器取代，其他的技術如相變內(nèi)存正在出現(xiàn)。多年來，永久性數(shù)據(jù)主要是存在硬盤上。系統(tǒng)驅動的整體優(yōu)化要求程序是足夠透明的，比如在關系型數(shù)據(jù)庫中，說明式的查詢語言就是這樣設計的。在這種情況下，說明式編程方案更加有效，甚至是那些在做復雜的機器學習任務的程序，因為為了獲得好的整體性能，跨多個用戶程序的全局優(yōu)化是是十分必要的。第二個巨大的轉變是向云計算的遷移，云計算將多個分離的計算任務匯聚到非常大的計算機群中，每個計算任務具有不同的性能目標。另外，在將來出于規(guī)律的考慮，我們可能不會持續(xù)使用系統(tǒng)中的硬件，數(shù)據(jù)處理系統(tǒng)可能需要主動第管理處理器的功耗。不幸的是，過去應用于跨節(jié)點數(shù)據(jù)處理的并行數(shù)據(jù)處理技術并不能直接用于節(jié)點內(nèi)的并行處理，因為架構看上去非常不同。首先，在過去 5 年，處理器技術已經(jīng)有了巨大的轉變，根據(jù)摩爾定理處理器的主頻每 18 個月就會翻倍，現(xiàn)在因為功率和散熱的限制，單個處理器的主頻基本上停滯不前了，業(yè)界都在通過多核技術來生產(chǎn)處理器。在過去，這些挑戰(zhàn)都是通過更快的處理器來應對的。? 數(shù)據(jù)的大小任何人對大數(shù)據(jù)的第一個想法就是它的大小。這是一個非常大的挑戰(zhàn)。即便是在數(shù)據(jù)清洗和錯誤糾正之后，數(shù)據(jù)還可能是不完整的和錯誤的。少一些的結構化設計對于一些目的可能更加有效，但是計算機系統(tǒng)的有效性則有賴于多個數(shù)據(jù)的大小和結構的一致性。所以，通過機器進行數(shù)據(jù)分析的第一步就是必須仔細地定義數(shù)據(jù)結構。實際上，自然語言的豐富性和微妙可以提供有價值的深度。三七數(shù)據(jù)大數(shù)據(jù)技術解決方案北京三七數(shù)據(jù)技術有限公司2022 年 7 月 31 日目 錄1 概述 ..........................................................................................................................................62 面臨的挑戰(zhàn) ..............................................................................................................................6 數(shù)據(jù)采集 ...............................................................................................................................10 數(shù)據(jù)清洗 ...............................................................................................................................10 數(shù)據(jù)存儲 ...............................................................................................................................12 數(shù)據(jù)并行處理 .......................................................................................................................12 數(shù)據(jù)分析 ...............................................................................................................................12 可視化 ...................................................................................................................................12 傳統(tǒng)解決方案的分析 ............................................................................................................123 相關技術的研究 .....................................................................................................................12 參考模型框架 .......................................................................................................................12 數(shù)據(jù)采集 ...............................................................................................................................12 結構化數(shù)據(jù)的采集 .......................................................................................................12 半結構化數(shù)據(jù)的采集 ...................................................................................................12 非結構化文本數(shù)據(jù)中信息的抽取 ...............................................................................15 數(shù)據(jù)清洗和數(shù)據(jù)質量的保證 ................................................................................................15 數(shù)據(jù)質量的概念及分類 ...............................................................................................15 數(shù)據(jù)清洗的原理 ........................................................................................................