【正文】 模擬“成功產(chǎn)生成功” 2022/6/3 92 泰格（ Tague）多缸模型 設(shè)計(jì)如下：存在多個(gè)缸的情形下，采用如下摸球方式：對(duì)一系列的缸，缸中裝有紅黑兩色球，如果隨機(jī)從某一缸中摸到一個(gè)紅球（記一次成功），則往該缸中加 s個(gè)紅球，然后繼續(xù)在該缸中摸球，直到摸出 K個(gè)黑球?yàn)橹梗ㄒ话?K=1），然后轉(zhuǎn)入下一缸摸球 2022/6/3 93 思考 集中與分散現(xiàn)象的基本特點(diǎn) 分析比較三基本定律數(shù)據(jù)處理方法的特點(diǎn)。 ? ? 300萬(wàn)字左右的圣經(jīng)和英國(guó)古典文學(xué)作品， ? 30萬(wàn)字左右的小學(xué)課本， ? 5萬(wàn)字左右的有關(guān)烹飪，縫紉，農(nóng)藝，商業(yè)之類的著作 ? 9萬(wàn)字左右的新聞報(bào)紙 ? 5萬(wàn)字左右的書信，共 41種不同的文獻(xiàn) ? 根據(jù) Ogden在 1967年版的 Encyclopaedia Britanica中對(duì) Basic English的定義，對(duì)于一個(gè)英語(yǔ)國(guó)家的成年人，應(yīng)認(rèn)識(shí) 20220個(gè)單詞，除語(yǔ)言專家外，普通人遇到的單詞量一般不超過 60000個(gè)。 齊夫定律在主題詞表編制與標(biāo)引理論和實(shí)踐中的應(yīng)用 有效詞的分辨力 下限 上限 有效詞 2022/6/3 55 齊普夫定律 在信息管理工作中的應(yīng)用 ? 最佳地理位置選擇，使得使用者能以最省力的途徑方便到達(dá)。 2022/6/3 52 第五節(jié) 齊夫定律的應(yīng)用 一 、 漢語(yǔ)詞頻分布的研究 （ ） 二 、 詞表的編制 —— 檢索詞的選擇 三 、 自動(dòng)標(biāo)引實(shí)踐 —— 有效詞的選擇 四 、 文件檔的組織 —— 數(shù)據(jù)庫(kù)存儲(chǔ)容量的判定 五、英語(yǔ)單詞的選擇 —— 對(duì)語(yǔ)言學(xué)習(xí)的指導(dǎo) 2022/6/3 53 自動(dòng)標(biāo)引原理： ?統(tǒng)計(jì)標(biāo)引法、 句法分析法、語(yǔ)義分析法 統(tǒng)計(jì)標(biāo)引法（ statistical method of indexing）的理論根據(jù)： 各種詞出現(xiàn)在原始文獻(xiàn)中的頻率和其區(qū)分文獻(xiàn)內(nèi)容功能之間存在著某種數(shù)量上的關(guān)系。 ? 語(yǔ)言的使用將遵循“適度省力”的原則，以“可懂度”為前提，否則將影響語(yǔ)言的交流和思想的表達(dá)。 多樣化的力 單一化的力 2022/6/3 46 the Principle of Least Effort ? 一個(gè)詞的長(zhǎng)度的演變并非隨機(jī)分布，而是與人們對(duì)其使用頻次有密切的關(guān)系。 ? 高夫曼 （ ） 給出的 nT 轉(zhuǎn)換值（ transition value） 公式： ）（ 181121In T ????（二）低頻詞臨界值的確定 2022/6/3 42 即：某一等級(jí)序號(hào)所對(duì)應(yīng)的低頻詞的數(shù)量與其在文獻(xiàn)中出現(xiàn)頻次的平方成反比 。于是對(duì)詞頻分布規(guī)律又有許多補(bǔ)充和深化的研究。 f 詞頻相同 （ lnnr） 序號(hào)遞增 （ lnr） lnnr lnr 2022/6/3 33 第三節(jié) 齊普夫定律的修正和發(fā)展 2022/6/3 34 一、 齊普夫定律的修正 —— 雙參數(shù)模型 ? 1936年美國(guó)語(yǔ)言學(xué)家朱斯 （ ） 提出的雙參數(shù)模型 —— “ 通用齊夫定律 ” （ Generalized Zipf’ s Law） nr=k/rb 或 fr=c/rb 式中 ， b0, c0, r=1,2,3.......,D） 且滿足 對(duì)上式取對(duì)數(shù) , 圖像顯示為一斜率為 b 的直線 。r the 9 1 9 In of 7 7 2 3 14 14 A one 6 6 4 5 24 24 law 5 6 30 And it 4 4 7 8 28 32 Suppose That Zipf’ s 3 3 3 9 10 11 27 30 33 21個(gè)單詞 2 1232 24…64 43個(gè)單詞 1 3375 33…75 在 隨機(jī)排序 中，同頻詞的出現(xiàn)將隨詞頻的降低而增多，產(chǎn)生“階梯”狀圖形。 ??? Dc ln12022/6/3 29 (三 )對(duì) Zipf 定律的幾點(diǎn)討論 ? 1. 高頻詞作用的局限性 高頻詞區(qū) 低頻詞區(qū) 中頻詞區(qū) 英語(yǔ)、拉丁語(yǔ)的詞頻分布 ? 2. 同頻詞的排序 單詞 頻次 隨機(jī)排序 nr 如果以等級(jí)序號(hào) r 的對(duì)數(shù)為橫軸，詞頻 nr 的對(duì)數(shù)為縱軸，其分布圖形為一直線。 二、 Zipf定律 rknkrnrr ??? 或詞頻統(tǒng)計(jì)表 詞的等級(jí)序號(hào)（ r） 詞出現(xiàn)的頻次（ nr） 1 n1 2 n2 3 n3 … … … … r nr … … … … D nD 2022/6/3 22 以 Rondld E. Wyllys: Empirical and Theoretical Bases of Zipf’ s Law（齊普夫定律的經(jīng)驗(yàn)根據(jù)與理論基礎(chǔ)）前兩段作為詞頻分布的統(tǒng)計(jì)對(duì)象，該文如下： Introduction One of the most puzzling phenomena in bibliometrics and, more broadly, in quantitative linguistics is Zipf’ s law. As one mentator, the statistician Gustav Herdan, has put it:“ Mathematicians believe in it (Zipf’ s law) because they think that linguists have established it to be a linguistic law, and linguists believe in it because they, on their part, think that mathematicians have established it to be a mathematical law.” Let us start by considering a basic form of Zipf’ s law. Suppose one has a natural language corpus, ., a book written in English. Next, suppose one makes a frequency count of the words in the corpus, ., counts the number of occurrences of the, and, of, etc. Finally, suppose one arranges the words in decreasing order of frequency so that the most frequent word has rank 1。r ） 大體上為一常數(shù) （ k） 。 （二）詞頻統(tǒng)計(jì)工具 2022/6/3 15 ? 南京高等師范到南京大學(xué)教授 ， 杰 出的現(xiàn)代兒童教育家 ? 我國(guó)近代教育家 陳鶴琴 (1892～ 1982)第一部 漢語(yǔ)頻率 字 典 《 語(yǔ)體文應(yīng)用字匯 》 (1928) ， 從554478個(gè)漢字中析出 4261個(gè)單字 。 I heard → It came to my ears 2022/6/3 14 ? 頻率詞典 （ frequency dictionaries） —— 按詞出現(xiàn)頻率的高低而編排的詞典 。 （一）文獻(xiàn)中對(duì)詞的利用 2022/6/3 11 （二）詞頻統(tǒng)計(jì)工具 ? 英國(guó)語(yǔ)言學(xué)家奧格登 （ Charles ） 于1930年編撰了 Basic English: A General Introduction with Rules and Grammar If one were to take the 25,000 word