【正文】 79 本章小結(jié) 信息檢索是一門交叉學(xué)科，不僅僅是搜索 信息檢索中的用戶需求、查詢、文檔、文檔集、相關(guān)度概念的含義 作為學(xué)科的信息檢索的內(nèi)涵和外延 80 課后思考題 信息檢索的定義？ 信息檢索中的用戶需求、查詢、相關(guān)度都是什么含義？ 信息檢索和其他相關(guān)學(xué)科是什么關(guān)系？ 信息檢索系統(tǒng)由哪些部分組成？各部分的功能是什么？ 信息檢索的定義是什么？請(qǐng)列舉幾種信息檢索的應(yīng)用。文本可以用于描述其他媒體 其他媒體形式的檢索的方法往往借鑒自文本檢索。據(jù)說(shuō)谷歌用了上百種排名因子 75 4. 信息檢索與數(shù)據(jù)庫(kù)檢索 近年來(lái)，隨著 XML的出現(xiàn)，兩種檢索已經(jīng)逐漸融合，邊界越來(lái)越不明顯。 相關(guān)度通常只有相對(duì)意義，對(duì)一個(gè) Q，不同文檔的相關(guān)度可以比較，而對(duì)于不同的 Q的相關(guān)度不便比較相關(guān)度的輸入信息可以更多，比如用戶的背景信息、用戶的查詢歷史等等 現(xiàn)代信息檢索中相關(guān)度不是唯一度量，如還有：重要度、權(quán)威度、新穎度等度量。相關(guān)性被認(rèn)為是用戶方面的屬性。系統(tǒng)角度相關(guān)并不和用戶脫節(jié)。這種理解置用戶于被動(dòng)的地位，基于這種理解，研究的重心落在系統(tǒng)本身。也稱為 Repository， Corpus 72 4. 信息檢索的相關(guān)概念 (IR concepts) 相關(guān) (relevant、相關(guān)度 relevance) 相關(guān)取決于用戶的判斷，是一個(gè)主觀概念，不同用戶做出的判斷很難保證一致，即使是同一用戶在不同時(shí)期、不同環(huán)境下做出的判斷也不盡相同。 Pull: 用戶是主動(dòng)的發(fā)起請(qǐng)求，在一個(gè)相對(duì)穩(wěn)定的數(shù)據(jù)集合上進(jìn)行查詢。 Query在 IR系統(tǒng)中往往還有內(nèi)部表示。 65 Documents Stream User 1 Profile User 2 Profile Docs Filtered for User 2 Docs for User 1 4. 信息檢索的相關(guān)概念 (IR concepts) Filtering(過(guò)濾 : 用戶需求不變 ,push) 66 4. 信息檢索的相關(guān)概念 (IR concepts) 用戶需求 (User Need， UN)：用戶需要獲得的信息 嚴(yán)格地說(shuō)， UN只存在于用戶的內(nèi)心，但是通常用文本來(lái)描述，如查找與 2022世界杯相關(guān)的新聞，有時(shí)也稱為主題 (Topic)。 例 1：返回與信息檢索相關(guān)的網(wǎng)頁(yè) ——搜索引擎 (Search Engine, SE) 例 2：毛澤東的生日是哪天 ——問(wèn)答系統(tǒng) (Question Answering, QA) 例 3：返回聯(lián)想 PC的型號(hào)、配置、價(jià)格等 ——信息抽取 (Information Extraction, IE) 例 4：訂閱有關(guān) NBA的新聞 ——信息過(guò)濾 (Information Filtering)、信息推薦 (Information Remending) 狹義的 IR通常是指 Information Search，而廣義的IR包含非常多的內(nèi)容 (SE, QA, IE, …) 。和我們平時(shí)所理解的搜索意義上的檢索不一樣。以計(jì)算機(jī)為手段，處理信息對(duì)象，和語(yǔ)言學(xué)、認(rèn)知科學(xué)等其他學(xué)科融合。 62 4. 信息檢索的相關(guān)概念 (IR concepts) 信息檢索 (Information Retrieval) Information Retrieval這個(gè)術(shù)語(yǔ)產(chǎn)生于 Calvin Mooers1948年在 MIT的碩士論文 Information Retrieval(IR) 從文檔集合中返回滿足用戶需求的相關(guān)信息的過(guò)程 作為一門學(xué)科，是研究信息的獲取 (acquisition)、表示(representation)、存儲(chǔ) (storage)、組織 (anization)和訪問(wèn) (access)的一門學(xué)問(wèn) 63 4. 信息檢索的相關(guān)概念 (IR concepts) 信息檢索可以看成計(jì)算機(jī)科學(xué) (Computer Science)和圖書(shū)情報(bào)學(xué) (Library amp。另一方面，人們?nèi)绾慰焖?、?zhǔn)確、全面地獲得自己所需要的信息非常困難！信息量太大，而且信息冗余度大、質(zhì)量良莠不齊、格式不一、位置分散、關(guān)聯(lián)復(fù)雜、語(yǔ)言繁多。 世界啟動(dòng)了數(shù)字圖書(shū)館、數(shù)字博物館在內(nèi)的一系列工程，另外包括虛擬博物館、數(shù)字電影、交互電視、會(huì)議電視、遠(yuǎn)程教育、遙感、 GPS等在內(nèi)的服務(wù)或應(yīng)用也產(chǎn)生大量文本和多媒體數(shù)據(jù)。 1998年，美國(guó)前副總統(tǒng)戈?duì)柼岢鰯?shù)字化地球的概念。 Tom Landauer認(rèn)為人的大腦只能存儲(chǔ) 200M信息量，一輩子只能接觸 6G的信息量。其中紙質(zhì)信息僅占所有信息的 %...”(Lyman amp。 從標(biāo)注好的例子中學(xué)習(xí)相關(guān)概念，然后進(jìn)行自動(dòng)分類 (有監(jiān)督的學(xué)習(xí)， supervised learning)，將未標(biāo)注的例子自動(dòng)聚集到有意義的不同集合中 (無(wú)監(jiān)督的學(xué)習(xí)，unsupervised learning)。通過(guò)一些 NLP方法來(lái)獲得文檔中的一個(gè)語(yǔ)言片斷(information extraction)。NLP和 IR天生就是融合的。 55 3. 學(xué)科體系和相關(guān)研究領(lǐng)域 —外延 自然語(yǔ)言理解 (Natural Language Processing,NLP) NLP關(guān)注自然語(yǔ)言文本的語(yǔ)法 (syntactic) 、語(yǔ)義(semantic)及語(yǔ)用 (pragmatic)分析。 54 3. 學(xué)科體系和相關(guān)研究領(lǐng)域 —外延 人工智能 (Artificial Intelligence,AI) AI關(guān)注知識(shí)的表示、推理和智能行為。 DM中不論是查詢還是數(shù)據(jù)都具有明確的語(yǔ)義。 DM主要面向關(guān)系表中的結(jié)構(gòu)化數(shù)據(jù)而非文本。 近年來(lái)數(shù)字圖書(shū)館方面的工作使得 LIS和 IR日益融合。 39 3. 學(xué)科體系和相關(guān)研究領(lǐng)域 —內(nèi)涵 信息檢索基礎(chǔ)理論 標(biāo)引理論 檢索語(yǔ)言，詞頻統(tǒng)計(jì)，引文分析 檢索模型 集合論，布爾代數(shù)，模糊數(shù)學(xué) 檢索結(jié)果的可視化 40 3. 學(xué)科體系和相關(guān)研究領(lǐng)域 —內(nèi)涵 檢索模型 布爾模型 基于集合論和布爾代數(shù)，適用于普通用戶，核心是二值相關(guān)，不能進(jìn)行相關(guān)性排序 向量空間模型 以向量表示提問(wèn)和文檔，向量計(jì)算在后臺(tái)進(jìn)行，與用戶無(wú)關(guān)，優(yōu)點(diǎn)是可以進(jìn)行相關(guān)性排序，也可產(chǎn)生文檔文摘 概率模型 基于貝葉斯概率論，更具有普遍性，適應(yīng)多媒體、語(yǔ)義文檔的檢索，具有邏輯推理能力 以上模型在實(shí)踐中，常?；旌鲜褂茫赃_(dá)到最佳效果 41 3. 學(xué)科體系和相關(guān)研究領(lǐng)域 —內(nèi)涵 信息處理與信息組織 自動(dòng)標(biāo)引 自動(dòng)分類與聚類 自動(dòng)摘要 視頻音頻信息索引