【正文】 現(xiàn)代信息檢索 陸銘 66134922 2 一、 引言 課程概況 研究歷史和現(xiàn)狀 學(xué)科框架 基本概念 3 1. 課程概況 (About the course) 設(shè)課目的 市場(chǎng)發(fā)展的需求 用戶需要信息檢索技術(shù) 互聯(lián)網(wǎng)的信息量太大，尋找信息非常不容易 公司需要信息檢索技術(shù) 信息檢索技術(shù)可以創(chuàng)造利潤(rùn)，搜索引擎改變了很多傳統(tǒng)的生活方式， Yahoo、 Google、 Baidu，還有一些公司如 Microsoft、 Sina、Sohu都加入到搜索技術(shù)的競(jìng)爭(zhēng) 人才的競(jìng)爭(zhēng) 搜索的技術(shù)人才出現(xiàn)缺口 2022年的網(wǎng)絡(luò)和現(xiàn)在的互聯(lián)網(wǎng)有什么不同，搜索引擎在其中占什么位置？ 4 數(shù)字化信息量舉例 音樂(lè)作品 (莫扎特 )：約 100MB 報(bào)紙 (華爾街雜志 )： 100MB/年 (文本 ) 卡片目錄 (美國(guó)國(guó)會(huì)圖書(shū)館 )： 17GB 廣播 (WABC) ： 270GB/年 (未經(jīng)壓縮 ) 網(wǎng)絡(luò)論壇 (Netnews)： 300GB/年 地區(qū)圖書(shū)館 (加州大學(xué)圖書(shū)館 )： (圖書(shū)掃描版 ) Inter出版 (WWW)： 1997年約 4TB 電視 (CNN新聞 )： 1GB/1小時(shí) , 6TB/年 (經(jīng)壓縮 ) 錄像帶出租 (Blockbuster Video)： 9TB 科研圖書(shū)館 (美國(guó)會(huì)圖書(shū)館 )：全部圖書(shū)館數(shù)字化 20TB 來(lái)源：美國(guó)伯克利加州大學(xué)教授 Peter Lyman和 Alex Inter公司總裁 Brewster Kahle所著 《 文化制品數(shù)字化存檔行動(dòng)綱要 》 5 信息檢索的問(wèn)題 信息超載 信息太多 , 需要過(guò)濾 檢索結(jié)果垃圾太多 , 有害信息太多 查找非結(jié)構(gòu)信息有困難 多數(shù)數(shù)據(jù)庫(kù)在結(jié)構(gòu)化字段上工作 多數(shù)商業(yè)信息是非結(jié)構(gòu)化的 . 報(bào)告、電子郵件、來(lái)往公函 ... 美國(guó)商業(yè)每年產(chǎn)生 4500億份文件 波音 747文件比飛機(jī)重量還重 標(biāo)引是主觀的 標(biāo)引者之間不一致 , 經(jīng)驗(yàn)統(tǒng)計(jì)表明標(biāo)引者之間僅 20% 相同 作者與標(biāo)引者之間、檢索者與用戶之間不一致 6 信息檢索的問(wèn)題 語(yǔ)言問(wèn)題 一詞多意 Bank: a river boundary or a savings and loans? DNA: microbiology or Digital Equipment Corporation’s Network Architecture? Free Rider: Economic game theory or urban transportation systems? 一意多詞 car, automobile, vehicle, sedan, horseless carriage... 7 1. 課程概況 (About the course) 課程性質(zhì) 圖書(shū)館學(xué)研究生的必修課程 課程內(nèi)容 本課程的教學(xué)目的是培養(yǎng)學(xué)生了解信息檢索工具的基本原理和技術(shù)，使學(xué)生能夠進(jìn)行較深層的研究或應(yīng)用開(kāi)發(fā) 本課程不是一門(mén)講授使用信息檢索方法的課程，本課程是研究信息檢索的 技術(shù)實(shí)現(xiàn) 的一門(mén)基礎(chǔ)課程 8 1. 課程概況 ——課程內(nèi)容體系 引言 課程概況，研究歷史和現(xiàn)狀，學(xué)科框架，相關(guān)概念 檢索理論 IR模型的形式化表示和類型，經(jīng)典模型 檢索語(yǔ)言，互操作，自然語(yǔ)言、本體論 文本檢索 經(jīng)典、現(xiàn)代文本處理和全文文本處理，分類和聚合 網(wǎng)絡(luò)檢索 網(wǎng)絡(luò)檢索、 PageRank和 HITS算法 信息自動(dòng)處理和系統(tǒng)評(píng)價(jià) 可視化、自動(dòng)文摘、評(píng)價(jià) 多媒體檢索 模型與語(yǔ)言，標(biāo)引與檢索，并行與分布式檢索 數(shù)字圖書(shū)館 OPAC，文獻(xiàn)模型、表達(dá)與存取，元數(shù)據(jù)，云數(shù)據(jù)庫(kù)檢索技能 9 1. 課程概況 (About the course) 授課方式 自學(xué)與課堂討論相結(jié)合 課堂講述和課后練習(xí)相結(jié)合 講授內(nèi)容既包含傳統(tǒng)內(nèi)容，也注意吸收最新研究成果 既考慮入門(mén)，也兼顧研究 考核方式 課程論文 按發(fā)表要求寫(xiě)作，課程結(jié)束，論文錄用 成績(jī)構(gòu)成 平時(shí)成績(jī)：課堂演講討論與 1篇小論文， 30% 考試： 1篇課程論文（約 5000字）， 70% 10 1. 課程概況 ——參考書(shū)籍及文獻(xiàn) 詳見(jiàn)教學(xué)大綱 BaezaYates, R. amp。 B. RibeiroNeto. eds. Modern Information Retrieval. ACM Press, 1999 王知津等譯 . 現(xiàn)代信息檢索技術(shù) .機(jī)械工業(yè)出版社， 2022 蘇新寧 . 信息檢索理論與技術(shù) . 科學(xué)技術(shù)文獻(xiàn)出版社， 2022 焦玉英 .信息檢索進(jìn)展，科學(xué)出版社， 2022 林 培光等，面向 Web的個(gè)性化語(yǔ)義信息檢索技術(shù)，中國(guó)財(cái)政經(jīng)濟(jì)出版社， 2022 解虹 ，數(shù)字化環(huán)境下交互式信息檢索，機(jī)械工業(yè)出版社， 2022 于 天恩，迅速搭建全文搜索平臺(tái)，清華大學(xué)出版社， 2022 11 1. 課程概況 ——參考書(shū)籍及文獻(xiàn) 第一章 引言 吳慰慈 . 網(wǎng)絡(luò)環(huán)境下信息存儲(chǔ)與檢索技術(shù)的發(fā)展 .四川圖書(shū)館學(xué)報(bào) ,2022,(01) 王知津 。 李明珍 .十年來(lái)我國(guó)信息檢索研究述評(píng) .現(xiàn)代圖書(shū)情報(bào)技術(shù) ,2022,(12) 焦玉英 . 網(wǎng)絡(luò)環(huán)境中信息檢索理論與實(shí)踐的發(fā)展 .圖書(shū)情報(bào)知識(shí) ,2022,(01) 12 一些重要的工具 Lemur：包含各種 IR模型的實(shí)驗(yàn)平臺(tái)， C++ SMART：向量空間模型工具 , C編寫(xiě) Weka：分類工具， Java編寫(xiě) Lucene：開(kāi)源檢索工具，各種語(yǔ)言編寫(xiě)的版本 Larbin：采集工具， C++ Firtex：檢索平臺(tái)， C++，計(jì)算所開(kāi)發(fā) 13 2. 研究歷史和現(xiàn)狀 歷史分段： 計(jì)算機(jī)出現(xiàn)以前 計(jì)算機(jī)出現(xiàn)以后 Inter出現(xiàn)以后 14 2. 研究歷史和現(xiàn)狀 ——計(jì)算機(jī)出現(xiàn)以前 約 4000年前，人類就開(kāi)始有目的地組織信息，一個(gè)典型的例子就是圖書(shū)中的目錄。 隨后，逐漸出現(xiàn)索引的概念，即從一些詞和概念指向相關(guān)信息或者文檔的“指針 ”。 計(jì)算機(jī)問(wèn)世以前，人們主要通過(guò)手工方式來(lái)建立索引。 15 2. 研究歷史和現(xiàn)狀 ——計(jì)算機(jī)出現(xiàn)以后 1948年 C. N. Mooers在其 MIT碩士論文中第一次使用了“ Information Retrieval