【正文】 慮入門(mén)，也兼顧研究 考核方式 課程論文 按發(fā)表要求寫(xiě)作，課程結(jié)束，論文錄用 成績(jī)構(gòu)成 平時(shí)成績(jī)：課堂演講討論與 1篇小論文， 30% 考試： 1篇課程論文（約 5000字）， 70% 10 1. 課程概況 ——參考書(shū)籍及文獻(xiàn) 詳見(jiàn)教學(xué)大綱 BaezaYates, R. amp。 計(jì)算機(jī)問(wèn)世以前，人們主要通過(guò)手工方式來(lái)建立索引。 第一個(gè) WEB搜索引擎： 1994年美國(guó) CMU開(kāi)發(fā)的 Lycos。 17 2. 研究歷史和現(xiàn)狀 1990年代的其他重要事件 : 推薦系統(tǒng)的出現(xiàn)： Ringo， Amazon， NetPerceptions 文本分類(lèi)和聚類(lèi)的使用： 信息抽?。?Whizbang 18 2. 研究歷史和現(xiàn)狀 2022’s的重要事件 文本檢索會(huì)議 TREC(Text Retrieval Conference )的發(fā)展 問(wèn)答系統(tǒng)評(píng)測(cè)專(zhuān)項(xiàng) Q/A track(Question Answering Track) 2022年，百度成立。 Management(IPamp。 39 3. 學(xué)科體系和相關(guān)研究領(lǐng)域 —內(nèi)涵 信息檢索基礎(chǔ)理論 標(biāo)引理論 檢索語(yǔ)言，詞頻統(tǒng)計(jì)，引文分析 檢索模型 集合論，布爾代數(shù)，模糊數(shù)學(xué) 檢索結(jié)果的可視化 40 3. 學(xué)科體系和相關(guān)研究領(lǐng)域 —內(nèi)涵 檢索模型 布爾模型 基于集合論和布爾代數(shù)，適用于普通用戶(hù)，核心是二值相關(guān)，不能進(jìn)行相關(guān)性排序 向量空間模型 以向量表示提問(wèn)和文檔，向量計(jì)算在后臺(tái)進(jìn)行，與用戶(hù)無(wú)關(guān)，優(yōu)點(diǎn)是可以進(jìn)行相關(guān)性排序，也可產(chǎn)生文檔文摘 概率模型 基于貝葉斯概率論，更具有普遍性，適應(yīng)多媒體、語(yǔ)義文檔的檢索，具有邏輯推理能力 以上模型在實(shí)踐中，常?；旌鲜褂茫赃_(dá)到最佳效果 41 3. 學(xué)科體系和相關(guān)研究領(lǐng)域 —內(nèi)涵 信息處理與信息組織 自動(dòng)標(biāo)引 自動(dòng)分類(lèi)與聚類(lèi) 自動(dòng)摘要 視頻音頻信息索引 信息的組織 42 3. 學(xué)科體系和相關(guān)研究領(lǐng)域 —內(nèi)涵 自動(dòng)分類(lèi) 研究歷史 1964年以前， HP Luhn開(kāi)創(chuàng)性工作， Maron第一篇論文，解決自動(dòng)分類(lèi)的可行性問(wèn)題 19651974年，試驗(yàn)性研究階段 1975～至今，實(shí)用化研究階段 研究?jī)?nèi)容：聚類(lèi)，類(lèi)號(hào)轉(zhuǎn)換 自動(dòng)文摘 語(yǔ)料庫(kù)技術(shù)，詞法分析，句法分析，信息抽取，評(píng)價(jià) 43 3. 學(xué)科體系和相關(guān)研究領(lǐng)域 —內(nèi)涵 查詢(xún)擴(kuò)展與優(yōu)化 檢索詞選擇方案，控制詞表技術(shù)，整體與局部分析技術(shù) 檢索相關(guān)性分析 內(nèi)涵：主題相關(guān) 系統(tǒng)相關(guān) 用戶(hù)相關(guān) 主觀因素 實(shí)證： 1955年 kent對(duì)查全率查準(zhǔn)率的研究 44 3. 學(xué)科體系和相關(guān)研究領(lǐng)域 —內(nèi)涵 信息檢索技術(shù)與方法 布爾檢索 加權(quán)檢索 全文檢索 超文本檢索 信息檢索技術(shù)與方法 多媒體檢索 智能檢索 跨語(yǔ)言檢索 跨平臺(tái)檢索 45 3. 學(xué)科體系和相關(guān)研究領(lǐng)域 —內(nèi)涵 信息可視化 一維信息的可視化 (含有某種規(guī)律的一組數(shù)據(jù)，具有與相關(guān)性排列的檢索結(jié)果 ) 二維信息可視化 (地理信息系統(tǒng)，圖形方法表示的調(diào)查統(tǒng)計(jì)數(shù)據(jù) ) 三維信息可視化 (將查全率、查準(zhǔn)率檢索速度等指標(biāo)進(jìn)行可視化排序 ) 46 Visual Thesaurus 47 Hyperbolic Tree 48 Aqua Browser 49 X refer plus 50 Dewey decimal system 51 OCLC Dewey Browser 52 3. 學(xué)科體系和相關(guān)研究領(lǐng)域 —外延 相關(guān)研究領(lǐng)域 —— 圖書(shū)情報(bào)學(xué) (Library amp。 DM主要面向關(guān)系表中的結(jié)構(gòu)化數(shù)據(jù)而非文本。 54 3. 學(xué)科體系和相關(guān)研究領(lǐng)域 —外延 人工智能 (Artificial Intelligence,AI) AI關(guān)注知識(shí)的表示、推理和智能行為。NLP和 IR天生就是融合的。 從標(biāo)注好的例子中學(xué)習(xí)相關(guān)概念，然后進(jìn)行自動(dòng)分類(lèi) (有監(jiān)督的學(xué)習(xí)， supervised learning)，將未標(biāo)注的例子自動(dòng)聚集到有意義的不同集合中 (無(wú)監(jiān)督的學(xué)習(xí)，unsupervised learning)。 Tom Landauer認(rèn)為人的大腦只能存儲(chǔ) 200M信息量，一輩子只能接觸 6G的信息量。 世界啟動(dòng)了數(shù)字圖書(shū)館、數(shù)字博物館在內(nèi)的一系列工程，另外包括虛擬博物館、數(shù)字電影、交互電視、會(huì)議電視、遠(yuǎn)程教育、遙感、 GPS等在內(nèi)的服務(wù)或應(yīng)用也產(chǎn)生大量文本和多媒體數(shù)據(jù)。 62 4. 信息檢索的相關(guān)概念 (IR concepts) 信息檢索 (Information Retrieval) Information Retrieval這個(gè)術(shù)語(yǔ)產(chǎn)生于 Calvin Mooers1948年在 MIT的碩士論文 Information Retrieval(IR) 從文檔集合中返回滿(mǎn)足用戶(hù)需求的相關(guān)信息的過(guò)程 作為一門(mén)學(xué)科，是研究信息的獲取 (acquisition)、表示(representation)、存儲(chǔ) (storage)、組織 (anization)和訪問(wèn) (access)的一門(mén)學(xué)問(wèn) 63 4. 信息檢索的相關(guān)概念 (IR concepts) 信息檢索可以看成計(jì)算機(jī)科學(xué) (Computer Science)和圖書(shū)情報(bào)學(xué) (Library amp。和我們平時(shí)所理解的搜索意義上的檢索不一樣。 65 Documents Stream User 1 Profile User 2 Profile Docs Filtered for User 2 Docs for User 1 4. 信息檢索的相關(guān)概念 (IR concepts) Filtering(過(guò)濾 : 用戶(hù)需求不變 ,push) 66 4. 信息檢索的相關(guān)概念 (IR concepts) 用戶(hù)需求 (User Need， UN)：用戶(hù)需要獲得的信息 嚴(yán)格地說(shuō)， UN只存在于用戶(hù)的內(nèi)心，但是通常用文本來(lái)描述，如查找與 2022世界杯相關(guān)的新聞，有時(shí)也稱(chēng)為主題 (Topic)。 Pull: 用戶(hù)是主動(dòng)的發(fā)起請(qǐng)求，在一個(gè)相對(duì)穩(wěn)定的數(shù)據(jù)集合上進(jìn)行查詢(xún)。這種理解置用戶(hù)于被動(dòng)的地位，基于這種理解，研究的重心落在系統(tǒng)本身。相關(guān)性被認(rèn)為是