《信息計(jì)量第七章》ppt課件(文件)
【正文】 ??????NmNRmRlnln)()(? 由調(diào)和級(jí)數(shù)求和公式（歐拉公式）可知： ? 所以近似有： ? 單詞覆蓋率： 2022/6/3 63 英語(yǔ)單詞的選擇問題 ? 設(shè) ?為覆蓋率，則 ? 從理論上講，只要熟練掌握 1/3的高頻詞，就可以“讀懂”含有 6萬(wàn)個(gè)不同詞（詞組）的文獻(xiàn)內(nèi)容的 90%。 。如果摸到一個(gè)紅球，則往缸中加 s個(gè)紅球，如果摸到一個(gè)黑球，則不往缸中加球。s Word Book of 20,000 Words ? 選擇出常用的詞匯 20,000個(gè)，依照每個(gè)詞在這些文獻(xiàn)中出現(xiàn)出現(xiàn)的頻率分成 20級(jí)，每級(jí) 1000個(gè)詞，用1， 2， 3....20來(lái)標(biāo)記。 ：所謂詞頻適中的詞是由在詞頻有序分布組織中靠近某一區(qū)域的若干詞組成的。 ? S. 普賴斯后來(lái)建立了一個(gè)相類似的模型，又明確地提出了“成功產(chǎn)生成功”的假說(shuō)。常常是意欲省力，實(shí)則不然。 ? 婦女聯(lián)合會(huì) —— 婦聯(lián) ? 郵政編碼 —— 郵編 ? 肺原性心臟病 —— 肺心病 ? 超級(jí)市場(chǎng) —— 超市 ? 勞動(dòng)改造 —— 勞改 ? 外商投資 —— 外資 ? 扶助貧困 —— 扶貧 ? 電影電視 —— 影視 ? 國(guó)內(nèi)需求 —— 內(nèi)需 ? 農(nóng)業(yè)戶口轉(zhuǎn)為非農(nóng)業(yè)戶口 —— 農(nóng)轉(zhuǎn)非 ? UNESCO ? United Nations Educational, Scientific and Cultural Organization ? APEC ? 1. =Asia Pacific Economic Cooperation 亞太經(jīng)濟(jì)合作會(huì)議 ? 2. =All Purpose Electronic Computer 通用電子計(jì)算機(jī) ? MEDLINE MEDLARS ONLINE ? Medical Literature Analysis and Retrieval System ? PETS ? Public English Test System ? *ya→ you ? *whaddaya→ what do you, what are you ? *gonna→ going to *Whaddaya *wanna do? I *wanna eat out. *Whaddaya *gonna do? I’ m *gonna a movie. ?Whaddaya *gonna see? ?I *wanna see a edy, but I’ m *gonna see a horror movie. ? *donno→ don’ t know ? *ta→ to ? *gotta→ got to ? ? 單一化的力 ——聽話人認(rèn)為最好是一詞一義 ， 使聽到的詞與其確切涵義容易匹配 ,便于理解 。 （二）低頻詞臨界值的確定 2022/6/3 41 ? 即：在按詞頻等級(jí)降序排列中 ， 所有出現(xiàn)頻次小于 nT 的詞均為低頻詞 ?！? ? 但是齊普夫的表達(dá)僅適宜于 中頻詞 的情況，高頻與低頻詞與該表述偏差較大。如英國(guó)著名的語(yǔ)言學(xué)著作 《 語(yǔ)言與語(yǔ)言詞典 》 中對(duì)詞頻分布定律的釋義是： “指談話者或?qū)懽髡呤褂玫脑~的分布和頻次的總描述。而采用其他排序方法則不存在階梯狀分布。r the 9 1 9 1 9 1 9 in， of 7 23 14， 21 3 21 a， one 6 45 24， 30 5 30 law 5 6 30 6 6 30 and， it 4 78 28， 32 8 32 suppose，that，Zipf’ s 3 911 27， 30，33 11 33 21個(gè)單詞 2 1232 24…64 32 64 43個(gè)單詞 1 3375 33…75 75 75 單詞 頻次 隨機(jī)排序 nr但后經(jīng)大量的研究證實(shí)，在詞的中頻區(qū)，c（即等級(jí)序號(hào)為 1的出現(xiàn)頻詞最高的詞的詞頻）。r ) the 9 1 9 in， of 7 23，平均 a， one 6 45，平均 law 5 6 and， it 4 78平均 suppose， that，Zipf’ s 3 911，平均 21個(gè)單詞 2 1232，平均 43個(gè)單詞 1 3375，平均 高頻詞 低語(yǔ)義詞 nr r lnnr lnr nr=k/r 如果以等級(jí)序號(hào) r 為橫軸 ， 詞頻 nr 為縱軸 ， 其分布圖形為一等軸雙曲線 。 其數(shù) 學(xué)關(guān)系可表示為： lnnr=tg(ππ/4)lnr+lnk 一、齊普夫的前期研究工作 rknr ?2022/6/3 20 ? (一 )齊普夫定律的表述 ? 設(shè)有一包含 N個(gè)詞 (詞匯數(shù) )的文獻(xiàn) (N≥5000)， 統(tǒng)計(jì)其中每個(gè)詞出現(xiàn)的頻次 (n)， 按頻次遞減的順序等級(jí)降序排列 ， 并用自然數(shù)給予相應(yīng)的等級(jí)序號(hào) （ r） ，則每個(gè)詞的等級(jí)序號(hào) （ r） 與相應(yīng)的頻次 （ nr ） 之積為一常數(shù) 。r =k 或 nr=kr1 ? 一 、 齊普夫的前期研究工作 ? (艾思杜 )的研究 （ 1916） 若將文獻(xiàn) （ 文集 ） 中出現(xiàn)的詞匯 （ N） 按其出現(xiàn)的頻次 （ n） 的高低做遞減排序 ， 并依次給予相應(yīng)的等級(jí)序號(hào) （ r） ， （ r=1， 2， 3........， D） ， 則等級(jí)序號(hào) （ r） 與相應(yīng)的頻次 （ nr） 的乘積 （ nr做了大量的英語(yǔ)詞匯的頻率統(tǒng)計(jì)工作 。 ? 問題：欲簡(jiǎn)（用詞簡(jiǎn)單）則繁（表達(dá)冗長(zhǎng)）。其中 ， 一級(jí)漢字 3755個(gè) ， 二級(jí)漢字3008個(gè) 。 2022/6/3 7 ? 《 毛澤東選集 》 （ 四卷合訂本 ， 1967年 ） 總詞量約66萬(wàn) ， 收錄 2775個(gè)漢字 。 ? 第一部英語(yǔ)詞典是 《 字順英語(yǔ)難詞表 》 。 ? 詞匯數(shù) （ N） ：文獻(xiàn)中出現(xiàn)的 不同詞的數(shù)量 。 3 Zipf第二定律 ? 167。第七章 齊普夫定律 G. K. Zipf (19021950) 美國(guó)哈夫大學(xué)著名語(yǔ)言 學(xué)家和心理學(xué)家。 2 Zipf定律的表示 ＊＊ ? 167。 不同的詞匯在同一篇文獻(xiàn)中出現(xiàn)頻次的分布是不均勻的 。 2022/6/3 5 二、字 (詞 )典的收錄和選擇 ? 中國(guó)最早的詞典 —— 《 爾雅 》 (漢代 )，按詞的性質(zhì)和意義排列，詞目 91706條、 134萬(wàn)多字。 （一）文獻(xiàn)中對(duì)詞的利用 ? 《 漢語(yǔ)大字典 》 （ 四川辭書出版社 ， 1986年 ） 全四卷 ， 收錄單字約 56000多個(gè) 。 （一）文獻(xiàn)中對(duì)詞的利用 2022/6/3 10 ? 1981年的 《 通訊用漢字字符集 （ 基本集 ） 及其交換碼標(biāo)準(zhǔn) 》 （ GB231280）中確認(rèn) “ 漢字基本字符 ” 為 6763個(gè) 。s BASIC ENGLISH ? 優(yōu)點(diǎn)：簡(jiǎn)化語(yǔ)法、精簡(jiǎn)詞匯，受到美國(guó)總統(tǒng)羅斯福、英國(guó)首相丘吉爾的支持與提倡，在一定范圍內(nèi)使用，但并未得到推廣。 ? 美國(guó)教育學(xué)家 (1874～ 1949)編寫了 《 教師兩萬(wàn)詞詞書 》 (1921)和 《 教師三萬(wàn)詞詞書 》 (1944)。 （二）詞頻統(tǒng)計(jì)工具 2022/6/3 17 2022/6/3 18 nr 直線與橫軸的夾角約為 π/4， 即直線的斜率為 1。 and so on. 2022/6/3 23 對(duì) 75個(gè)單詞的出現(xiàn)頻次的統(tǒng)計(jì) 單詞 頻次 the 9 in， of 7 a， one 6 Law 5 and， it 4 Zipf’ s， suppose， that 3 21個(gè)詞 2 43個(gè)詞 1 單詞 頻次 ( nr) 等級(jí) ( r ) 乘積 ( nr 齊普夫定律的圖像描述 L
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號(hào)-1