基于語料庫的工作(已修改)
2024-10-28 10:23 本頁面
【正文】 基于語料庫的工作 張宇 2020/11/17 中文信息處理 基于語料庫的工作 2 大綱 ?什么是語料庫 ?語料庫的發(fā)展簡(jiǎn)史 ?語料庫建設(shè)中處理的問題 ?數(shù)據(jù)標(biāo)注 2020/11/17 中文信息處理 基于語料庫的工作 3 什么是語料庫 ? 語料庫，英文為 Corpus ?存儲(chǔ)語言材料的倉庫 ?現(xiàn)代的語料庫是指存放在計(jì)算機(jī)里的原始語料文本或經(jīng)過加工后帶有語言學(xué)信息標(biāo)注的語料文本 . 2020/11/17 中文信息處理 基于語料庫的工作 4 關(guān)于語料庫的三點(diǎn)基本認(rèn)識(shí) ?語料庫中存放的是在語言的實(shí)際使用中真實(shí)出現(xiàn)過的語言材料； ?語料庫是以電子計(jì)算機(jī)為載體承載語言知識(shí)的基礎(chǔ)資源； ?真實(shí)語料需要經(jīng)過加工（分析和處理），才能成為有用的資源； 2020/11/17 中文信息處理 基于語料庫的工作 5 語料庫示例 北京大學(xué)計(jì)算語言所富士通人民日?qǐng)?bào)標(biāo)注語料庫樣例： 歷史 /n 將 /d 銘記 /v 這個(gè) /r 坐標(biāo) /n ： /w 北緯 /b ４１．１/m 度 /q 、 /w 東經(jīng) /b １１４．３ /m 度 /q ； /w 人們 /n 將/d 銘記 /v 這 /r 一 /m 時(shí)刻 /n ： /w １９９８年 /t １月 /t １０日 /t １１時(shí) /t ５０分 /t 。 /w …… [中國 /ns 政府 /n]nt 順利 /ad 恢復(fù) /v 對(duì) /p 香港 /ns 行使 /v 主權(quán) /n ， /w 并 /c 按照 /p ―/w 一國兩制 /j ‖/w 、 /w ―/w 港人治港 /l ‖/w 、 /w 高度 /d 自治 /v 的 /u 方針 /n 保持 /v 香港/ns 的 /u 繁榮 /an 穩(wěn)定 /an 。 /w 2020/11/17 中文信息處理 基于語料庫的工作 6 語料庫的分類 ? 生語料庫 /熟語料庫 – 生語料庫 就是未經(jīng)加工的 ,沒有任何切分 ,標(biāo)注標(biāo)記的原始語料庫 – 熟語料庫 就是指經(jīng)過加工 ,帶有切分 ,標(biāo)注標(biāo)記的語料庫 ? 系統(tǒng)型語料庫 /專用型語料庫 – 系統(tǒng)型語料庫 就是依據(jù)事先確定的選材原則和比例選取語料的語料庫 – 專用型語料庫 就是指專門服務(wù)于某個(gè)特定目的的語料庫 ? 單語種語料庫 /多語種語料庫 2020/11/17 中文信息處理 基于語料庫的工作 7 語料庫發(fā)展簡(jiǎn)史 ?第一代（ 1970－ 80年代） ?第二代（ 1980－ 90年代） ?第三代（ 1990年代－） 2020/11/17 中文信息處理 基于語料庫的工作 8 第一代語料庫 ? Brown語料庫 ? LOB語料庫 ? LLC語料庫 百萬詞級(jí)以語言研究為導(dǎo)向 2020/11/17 中文信息處理 基于語料庫的工作 9 第二代語料庫 ? COBUILD語料庫 ? Longman語料庫 千萬詞級(jí)詞典編纂－應(yīng)用導(dǎo)向 2020/11/17 中文信息處理 基于語料庫的工作 10 第三代語料庫 ? ACL/DCI語料庫 – The Association for Computational Linguistics – Data Collection Initiative ? UPenn樹庫 ? LDC（ Linguistic Data
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號(hào)-1