【正文】 。如果摸到一個紅球，則往缸中加 s個紅球，如果摸到一個黑球，則不往缸中加球。 ? 問題：假定這 60000個單詞在文獻(xiàn)中出現(xiàn)的頻次服從 Zipf定律，那么一個人如果認(rèn)識上述 20220個常用單詞，即當(dāng) m=20220時 (1/3)，對英文讀物的詞匯覆蓋率有多大？ 2022/6/3 62 齊夫定律的啟示 —— 英語單詞的選擇 ? 由 nr=k/r可知，排列在前 m個等級詞出現(xiàn)的總頻次為： ?? ????mrmrr rknmR111)()57 (ln11???????mrmr)( ln)( ??? mkmR???????NmNRmRlnln)()(? 由調(diào)和級數(shù)求和公式（歐拉公式）可知： ? 所以近似有： ? 單詞覆蓋率： 2022/6/3 63 英語單詞的選擇問題 ? 設(shè) ?為覆蓋率，則 ? 從理論上講，只要熟練掌握 1/3的高頻詞，就可以“讀懂”含有 6萬個不同詞（詞組）的文獻(xiàn)內(nèi)容的 90%。s Word Book of 20,000 Words ? 選擇出常用的詞匯 20,000個，依照每個詞在這些文獻(xiàn)中出現(xiàn)出現(xiàn)的頻率分成 20級，每級 1000個詞，用1， 2， 3....20來標(biāo)記。 ? 設(shè)計圖書館、信息中心資料庫的排架。 ：所謂詞頻適中的詞是由在詞頻有序分布組織中靠近某一區(qū)域的若干詞組成的。 ：文獻(xiàn)中每一個詞都有一定的“分辨能” (discrimination power)，而這種能力與詞出現(xiàn)的頻次有著密切的關(guān)系。 ? S. 普賴斯后來建立了一個相類似的模型，又明確地提出了“成功產(chǎn)生成功”的假說。 2022/6/3 51 第四節(jié) 詞頻分布原理 ? 二、“成功產(chǎn)生成功”假說 ? ：在文獻(xiàn)中， 一詞使用的次數(shù)越多，則再次使用的可能性越大。常常是意欲省力，實則不然。 2022/6/3 50 the Principle of Least Effort ? 對“最小省力原則”應(yīng)辨證地看： ? 自然語言中詞的“短化”不是絕對的，而是有人的自然的惰性與語言熵相互矛盾作用的結(jié)果。 ? 婦女聯(lián)合會 —— 婦聯(lián) ? 郵政編碼 —— 郵編 ? 肺原性心臟病 —— 肺心病 ? 超級市場 —— 超市 ? 勞動改造 —— 勞改 ? 外商投資 —— 外資 ? 扶助貧困 —— 扶貧 ? 電影電視 —— 影視 ? 國內(nèi)需求 —— 內(nèi)需 ? 農(nóng)業(yè)戶口轉(zhuǎn)為非農(nóng)業(yè)戶口 —— 農(nóng)轉(zhuǎn)非 ? UNESCO ? United Nations Educational, Scientific and Cultural Organization ? APEC ? 1. =Asia Pacific Economic Cooperation 亞太經(jīng)濟(jì)合作會議 ? 2. =All Purpose Electronic Computer 通用電子計算機(jī) ? MEDLINE MEDLARS ONLINE ? Medical Literature Analysis and Retrieval System ? PETS ? Public English Test System ? *ya→ you ? *whaddaya→ what do you, what are you ? *gonna→ going to *Whaddaya *wanna do? I *wanna eat out. *Whaddaya *gonna do? I’ m *gonna a movie. ?Whaddaya *gonna see? ?I *wanna see a edy, but I’ m *gonna see a horror movie. ? *donno→ don’ t know ? *ta→ to ? *gotta→ got to ? ? “ 寡用冗長” ? “用盡廢退” ? 事多而寡用之， 意多而約出之。 ? 單一化的力 ——聽話人認(rèn)為最好是一詞一義 ， 使聽到的詞與其確切涵義容易匹配 ,便于理解 。 2211 rrnnnnIIrr ???（三）低頻詞的數(shù)量與其在文獻(xiàn)中出現(xiàn)的頻次之間的關(guān)系 2022/6/3 43 第四節(jié) 詞頻分布原理 ? 一、“省力法則”假說 ? 《 人類行為與最省力法則 —— 人類生態(tài)學(xué)引論 》 (G. K. Zipf. Human Behaviour and the Principle of Least Effort: an Introduction to Human Ecology. AddisonWesley,1949) 2022/6/3 44 A地 Human Behaviour and the Principle of Least Effort B地 2022/6/3 45 雙重力平衡的結(jié)果 —— 雙曲線分布 ? 在語言交流過程中 ， “ 省力法則 ” 同時體現(xiàn)在說話人和聽話人身上 。 （二）低頻詞臨界值的確定 2022/6/3 41 ? 即：在按詞頻等級降序排列中 ， 所有出現(xiàn)頻次小于 nT 的詞均為低頻詞 。 2022/6/3 37 三、 齊夫第二定律 （一） —— Booth,.:Information and Control, 1967(10):386393 ? 設(shè)文獻(xiàn)中同頻詞 （ 出現(xiàn)頻次為 n 的詞 ） 的個數(shù)為 In， 則 In 與 I1 比值的大小僅僅取決于頻次 n 的高低 ,， 與文獻(xiàn)的長度 （ 總詞次數(shù) N’ ） 以及常數(shù)值 c 無關(guān) ， 即： )1(21 ??nnII n美國西保留地凱西大學(xué)（ Western Reserve University）文獻(xiàn)交流中心和埃德基（ Eldridge）對 4篇英語文獻(xiàn)詞頻分布的統(tǒng)計結(jié)果。” ? 但是齊普夫的表達(dá)僅適宜于 中頻詞 的情況，高頻與低頻詞與該表述偏差較大。r=c，方程式中 f=頻次， r=序號，即頻率表上的位置； c=常數(shù)。如英國著名的語言學(xué)著作 《 語言與語言詞典 》 中對詞頻分布定律的釋義是： “指談話者或?qū)懽髡呤褂玫脑~的分布和頻次的總描述。 ? 懷利斯（ ）對 8個不同樣本的研究結(jié)果： b。而采用其他排序方法則不存在階梯狀分布。試驗證明：當(dāng)15r1500時，同頻詞不多；當(dāng) r1500時，大量的同頻詞出現(xiàn)。r the 9 1 9 1 9 1 9 in， of 7 23 14， 21 3 21 a， one 6 45 24， 30 5 30 law 5 6 30 6 6 30 and， it 4 78 28， 32 8 32 suppose，that，Zipf’ s 3 911 27， 30，33 11 33 21個單詞 2 1232 24…64 32 64 43個單詞 1 3375 33…75 75 75 單詞 頻次 隨機(jī)排序 nrr 均值排序 nr但后經(jīng)大量的研究證實，在詞的中頻區(qū)，c（即等級序號為 1的出現(xiàn)頻詞最高的詞的詞頻）。直線的斜率約為 1。r ) the 9 1 9 in， of 7 23，平均 a， one 6 45，平均 law 5 6 and， it 4 78平均 suppose， that，Zipf’ s 3 911，平均 21個單詞 2 1232，平均 43個單詞 1 3375，平均 高頻詞 低語義詞 nr r lnnr lnr nr=k/r 如果以等級序號 r 為橫軸 ， 詞頻 nr 為縱軸 ， 其分布圖形為一等軸雙曲線 。 the next most frequency, rank 2。 其數(shù)