【正文】 慮入門，也兼顧研究 考核方式 課程論文 按發(fā)表要求寫作，課程結束，論文錄用 成績構成 平時成績：課堂演講討論與 1篇小論文， 30% 考試： 1篇課程論文（約 5000字）， 70% 10 1. 課程概況 ——參考書籍及文獻 詳見教學大綱 BaezaYates, R. amp。 計算機問世以前，人們主要通過手工方式來建立索引。 第一個 WEB搜索引擎： 1994年美國 CMU開發(fā)的 Lycos。 17 2. 研究歷史和現(xiàn)狀 1990年代的其他重要事件 : 推薦系統(tǒng)的出現(xiàn)： Ringo， Amazon， NetPerceptions 文本分類和聚類的使用： 信息抽?。?Whizbang 18 2. 研究歷史和現(xiàn)狀 2022’s的重要事件 文本檢索會議 TREC(Text Retrieval Conference )的發(fā)展 問答系統(tǒng)評測專項 Q/A track(Question Answering Track) 2022年，百度成立。 Management(IPamp。 39 3. 學科體系和相關研究領域 —內涵 信息檢索基礎理論 標引理論 檢索語言，詞頻統(tǒng)計，引文分析 檢索模型 集合論，布爾代數(shù)，模糊數(shù)學 檢索結果的可視化 40 3. 學科體系和相關研究領域 —內涵 檢索模型 布爾模型 基于集合論和布爾代數(shù)，適用于普通用戶，核心是二值相關，不能進行相關性排序 向量空間模型 以向量表示提問和文檔，向量計算在后臺進行，與用戶無關，優(yōu)點是可以進行相關性排序，也可產生文檔文摘 概率模型 基于貝葉斯概率論，更具有普遍性，適應多媒體、語義文檔的檢索，具有邏輯推理能力 以上模型在實踐中，常常混合使用，以達到最佳效果 41 3. 學科體系和相關研究領域 —內涵 信息處理與信息組織 自動標引 自動分類與聚類 自動摘要 視頻音頻信息索引 信息的組織 42 3. 學科體系和相關研究領域 —內涵 自動分類 研究歷史 1964年以前， HP Luhn開創(chuàng)性工作， Maron第一篇論文，解決自動分類的可行性問題 19651974年，試驗性研究階段 1975～至今，實用化研究階段 研究內容：聚類，類號轉換 自動文摘 語料庫技術，詞法分析，句法分析，信息抽取，評價 43 3. 學科體系和相關研究領域 —內涵 查詢擴展與優(yōu)化 檢索詞選擇方案，控制詞表技術，整體與局部分析技術 檢索相關性分析 內涵：主題相關 系統(tǒng)相關 用戶相關 主觀因素 實證： 1955年 kent對查全率查準率的研究 44 3. 學科體系和相關研究領域 —內涵 信息檢索技術與方法 布爾檢索 加權檢索 全文檢索 超文本檢索 信息檢索技術與方法 多媒體檢索 智能檢索 跨語言檢索 跨平臺檢索 45 3. 學科體系和相關研究領域 —內涵 信息可視化 一維信息的可視化 (含有某種規(guī)律的一組數(shù)據(jù)，具有與相關性排列的檢索結果 ) 二維信息可視化 (地理信息系統(tǒng)，圖形方法表示的調查統(tǒng)計數(shù)據(jù) ) 三維信息可視化 (將查全率、查準率檢索速度等指標進行可視化排序 ) 46 Visual Thesaurus 47 Hyperbolic Tree 48 Aqua Browser 49 X refer plus 50 Dewey decimal system 51 OCLC Dewey Browser 52 3. 學科體系和相關研究領域 —外延 相關研究領域 —— 圖書情報學 (Library amp。 DM主要面向關系表中的結構化數(shù)據(jù)而非文本。 54 3. 學科體系和相關研究領域 —外延 人工智能 (Artificial Intelligence,AI) AI關注知識的表示、推理和智能行為。NLP和 IR天生就是融合的。 從標注好的例子中學習相關概念，然后進行自動分類 (有監(jiān)督的學習， supervised learning)，將未標注的例子自動聚集到有意義的不同集合中 (無監(jiān)督的學習，unsupervised learning)。 Tom Landauer認為人的大腦只能存儲 200M信息量，一輩子只能接觸 6G的信息量。 世界啟動了數(shù)字圖書館、數(shù)字博物館在內的一系列工程，另外包括虛擬博物館、數(shù)字電影、交互電視、會議電視、遠程教育、遙感、 GPS等在內的服務或應用也產生大量文本和多媒體數(shù)據(jù)。 62 4. 信息檢索的相關概念 (IR concepts) 信息檢索 (Information Retrieval) Information Retrieval這個術語產生于 Calvin Mooers1948年在 MIT的碩士論文 Information Retrieval(IR) 從文檔集合中返回滿足用戶需求的相關信息的過程 作為一門學科，是研究信息的獲取 (acquisition)、表示(representation)、存儲 (storage)、組織 (anization)和訪問 (access)的一門學問 63 4. 信息檢索的相關概念 (IR concepts) 信息檢索可以看成計算機科學 (Computer Science)和圖書情報學 (Library amp。和我們平時所理解的搜索意義上的檢索不一樣。 65 Documents Stream User 1 Profile User 2 Profile Docs Filtered for User 2 Docs for User 1 4. 信息檢索的相關概念 (IR concepts) Filtering(過濾 : 用戶需求不變 ,push) 66 4. 信息檢索的相關概念 (IR concepts) 用戶需求 (User Need， UN)：用戶需要獲得的信息 嚴格地說， UN只存在于用戶的內心，但是通常用文本來描述，如查找與 2022世界杯相關的新聞，有時也稱為主題 (Topic)。 Pull: 用戶是主動的發(fā)起請求，在一個相對穩(wěn)定的數(shù)據(jù)集合上進行查詢。這種理解置用戶于被動的地位，基于這種理解，研究的重心落在系統(tǒng)本身。相關性被認為是