數(shù)位文字知識(shí)探勘--以中文索引典之建構(gòu)及應(yīng)用為例-資料下載頁(yè)
2024-10-24 15:49本頁(yè)面
【導(dǎo)讀】文字知識(shí)探勘簡(jiǎn)介。規(guī)律訊息成資訊或知識(shí)。資訊組織與主題分析的技術(shù)內(nèi)容。圖書館學(xué)較重視標(biāo)準(zhǔn)化的作業(yè)與架構(gòu)。資訊科技較重視自動(dòng)化技術(shù)的用。檢索失敗的主要因素之一：「字彙不匹配問(wèn)題」。曾元顯,漸進(jìn)式關(guān)聯(lián)詞庫(kù)之建構(gòu)方法,中華民國(guó)發(fā)明。透過(guò)國(guó)科會(huì)小產(chǎn)學(xué)計(jì)畫，技術(shù)移轉(zhuǎn)國(guó)內(nèi)廠商。文獻(xiàn)探討、技術(shù)瞭解、優(yōu)缺點(diǎn)分析、適用範(fàn)圍分析。提出適用情況與應(yīng)用方向。Salton曾提出建構(gòu)共現(xiàn)索引典的架構(gòu)：。重要的索引詞彙，任兩詞彙皆拿來(lái)比對(duì)相似度。計(jì)算量至少M(fèi)2，M：所有重要詞彙的個(gè)數(shù)。歸類方式，主要有：。–兩個(gè)類別之間的相似度，若超過(guò)某個(gè)門檻值，就結(jié)合並歸成同一類，透過(guò)共現(xiàn)索引典的查詢擴(kuò)展，檢索成效的召回率，通?？商?。定義非對(duì)稱的詞彙相似度。詞彙Tj及Tk在文件i中的權(quán)重:
【正文】 s: RPrecision (precision after R (= num_rel for a query) docs retrieved): Exact: 關(guān)聯(lián)詞成效評(píng)估 ? 從 25233篇新聞文件中擷取關(guān)聯(lián)詞 ? 結(jié)果 ： – 排序 詞頻 時(shí)間 強(qiáng)度 – 關(guān)聯(lián)比例 48% 59% 69% – 平均精確率 – 「詞頻」最差，因?yàn)楦哳l詞，代表的主題較範(fàn)圍較大 ，以致於跟任何查詢?cè)~的關(guān)係都不大 ? 結(jié)論： – 依「強(qiáng)度」排序的效果最好 ? 比較： – (Sanderson amp。 Croft SIGIR99) 關(guān)聯(lián)比例： 67 % 結(jié)語(yǔ) ? 共現(xiàn)索引典（關(guān)聯(lián)詞庫(kù)）的優(yōu)點(diǎn) – 快速呈現(xiàn)館藏文獻(xiàn)內(nèi)容，具備主題摘要效果 – 提供館藏內(nèi)容的有效瀏覽 – 即時(shí)反應(yīng)館藏文件索引、查詢用詞，降低「字彙不匹配」問(wèn)題 – 提供非專業(yè)使用者專業(yè)的導(dǎo)引 ? 共現(xiàn)索引典（關(guān)聯(lián)詞庫(kù)）的缺點(diǎn) – 館藏文獻(xiàn)沒記載、或統(tǒng)計(jì)不足的關(guān)聯(lián)詞無(wú)法擷取 ? 如：「紅樓夢(mèng)」與「石頭記」 – 關(guān)聯(lián)屬性沒有標(biāo)示 計(jì)劃成果 ? 相關(guān)論文 – YuenHsien Tseng, Automatic Thesaurus Generation for Chinese Documents, Journal of the American Society for Information Science and Technology, Vol. 53, No. 13, Nov. 2020, pp. 11301138. – YuenHsien Tseng, Fast Cooccurrence Thesaurus Construction for Chinese News, Proceedings of the 2020 IEEE Systems, Man, and Cyberics Conference, Tucson, Arizona, USA, October 710, 2020, . ? 相關(guān)專利 – 曾元顯 , 數(shù)位文件關(guān)鍵特徵之自動(dòng)擷取方法 , 中華民國(guó)發(fā)明專利第 153789 – 曾元顯 ,漸進(jìn)式關(guān)聯(lián)詞庫(kù)之建構(gòu)方法 , 中華民國(guó)發(fā)明專利，專利號(hào)： I 290684. ? 後續(xù)論文 – YuenHsien Tseng, DaWei Juang and, ShiuHan Chen Global and Local Term Expansion for Text Retrieval, Proceedings of the Fourth NTCIR Workshop on Evaluation of Information Retrieval, Automatic Text Summarization and Question Answering, June 24, 2020, Tokyo, Japan. – 中文互動(dòng)式檢索輔助功能之效益評(píng)估 以關(guān)聯(lián)提示詞為例 , 2020年 ? 後續(xù)應(yīng)用 – 促進(jìn)國(guó)內(nèi)檢索技術(shù)提昇 中文互動(dòng)式檢索輔助功能之效益評(píng)估 以關(guān)聯(lián)提示詞為例 葉佳昀 ? 2020年以相同文件、相同查詢?cè)~、不同受試者重複實(shí)驗(yàn) – 小文件集 25233篇 – 中文件集 15,4720篇 – 小文件集的相關(guān)比例為 % – 中文件集的相關(guān)比例為 % – 文件越多，效果越好 ? 30個(gè)查詢?cè)~ 中東 地震 亞洲國(guó)家 通航 債券 環(huán)保署 中油 有線電視 邱義仁 博物館 奧運(yùn) 職棒 主計(jì)處 朱鎔基 國(guó)安基金 晶圓代工 會(huì)計(jì)師 醫(yī)生 古蹟 李安 國(guó)科會(huì) 鄉(xiāng)鎮(zhèn) 調(diào)查局 顔慶張 生物科技 那斯達(dá)克 被害人 雅虎 選民 黨員 NTCIR 中文主題檢索成效 ? 012::導(dǎo)演，黑澤明 ? 012::查詢?nèi)毡緦?dǎo)演黑澤明的生平大事 RunID Rigid Relax MAP % imp MAP % imp CCT+AT CCT+MT CCT+BRF CCT+MT+BRF CCT+AT(p) CCT+MT(p) CCT+BRF(p) CCT+MT+BRF(p) Max of CCT Avg of CCT Min of CCT 國(guó)內(nèi)系統(tǒng)類似功能 在教育資料方面的應(yīng)用 檢索試驗(yàn)平臺(tái) ksp/ EdShare知識(shí)關(guān)聯(lián)檢索 definition_page=relativeSearchPage Term Association ? Goal – To mine topic relations from massive texts ? Problem to be solved – Massive terms in digital collections – Possible termpairs are even more ? Achievement: – 380,000 docs. (470 MB texts) in 50 minutes on desktop PC – 78% related terms are judged relevant Examples: Term Suggestion Applications ? Reduce vocabulary mismatch – which causes major search failures ? Reduce load on searchers – Information is found only when it is seen, sometimes ? Increase retrieval effectiveness [NTCIR4 and 5] ? Increase understanding of the collections – A visual way to summarize the search results ? Provide expertlevel knowledge for novices – Example ? Coword analysis for clustering, and more app. – Example: Sun and HP Coword Analysis based on CRTs ? Compaq、伺服器、方案 are mon related terms (CRTs) of Sun and HP. Hence Sun and HP are clustered in a closer way (in the context that they are both puter panies). Examples for Coword Analysis 2347: (玩 具 :, 大 人 :, 幼 稚 園 :, 腸 病 毒 :) ?94: (小 孩 子 :, 玩 具 :, 嬰 兒 :, 大 人 :) ?185 : 孩子 (sonny) ?325 : 小孩 (kid) ?705: (玩 具 :, 暑 假 :, 大 人 :, 卡 通 :) ?363 : 兒童 (child) ?546 : 小朋友 (little friend) 13028: (安 非 他 命 :, 計(jì) 程 車 :, 轎 車 :, 子 彈 :) ?2733: (安 非 他 命 :, 子 彈 :, 計(jì) 程 車 :, 毒 品 :) ?654: (子 彈 :, 安 非 他 命 :, 警 力 :, 警 員 :) ?21: (刑 事 :, 子 彈 :, 安 非 他 命 :, 警 局 :) ?686 : 員警 (policeman) ?822 : 派出所 (police office) ?74 : 警方 (police) ?297 : 少年 (juvenile) ?684 : 清晨 (early morning) Nearsynonym term extraction: Useful association (previously unknown) for novice:
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號(hào)-1