【正文】 學(xué)關(guān)系可表示為： lnnr=tg(ππ/4)lnr+lnk 一、齊普夫的前期研究工作 rknr ?2022/6/3 20 ? (一 )齊普夫定律的表述 ? 設(shè)有一包含 N個(gè)詞 (詞匯數(shù) )的文獻(xiàn) (N≥5000)， 統(tǒng)計(jì)其中每個(gè)詞出現(xiàn)的頻次 (n)， 按頻次遞減的順序等級(jí)降序排列 ， 并用自然數(shù)給予相應(yīng)的等級(jí)序號(hào) （ r） ，則每個(gè)詞的等級(jí)序號(hào) （ r） 與相應(yīng)的頻次 （ nr ） 之積為一常數(shù) 。 第二節(jié) 齊普夫定律的表示 2022/6/3 19 ? (貢東 )的研究 （ 1928） 取等級(jí)序號(hào)的對(duì)數(shù) （ lnr） 以及每個(gè)詞出現(xiàn)頻次的對(duì)數(shù) （ lnnr） 做圖 ， 發(fā)現(xiàn)存在線性關(guān)系 。r =k 或 nr=kr1 ? 一 、 齊普夫的前期研究工作 ? (艾思杜 )的研究 （ 1916） 若將文獻(xiàn) （ 文集 ） 中出現(xiàn)的詞匯 （ N） 按其出現(xiàn)的頻次 （ n） 的高低做遞減排序 ， 并依次給予相應(yīng)的等級(jí)序號(hào) （ r） ， （ r=1， 2， 3........， D） ， 則等級(jí)序號(hào) （ r） 與相應(yīng)的頻次 （ nr） 的乘積 （ nr ? 江澤民為陳鶴琴先生雕像墓碑落成題詞： “ 學(xué)習(xí)愛(ài)國(guó)老教育家陳鶴琴先生的獻(xiàn)身精神和創(chuàng)業(yè)精神 ， 深化教育改革 ， 為培育四有新人 ， 振興中華的大業(yè)而奮斗 !” （二）詞頻統(tǒng)計(jì)工具 2022/6/3 16 ? 北京語(yǔ)言學(xué)院語(yǔ)言教學(xué)研究所采用人工與計(jì)算機(jī)相結(jié)合的辦法 ， 對(duì)近 200萬(wàn)字的漢語(yǔ)語(yǔ)料進(jìn)行詞頻統(tǒng)計(jì) ，編制了 《 現(xiàn)代漢語(yǔ)頻率詞典 》 ， 收詞 31159條 ， 這是中國(guó)正式出版的第一部漢語(yǔ)頻率詞典 。做了大量的英語(yǔ)詞匯的頻率統(tǒng)計(jì)工作 。 ? 世界上第一部頻率詞典 —— 德國(guó)語(yǔ)言學(xué)家凱丁()《 德語(yǔ)頻率詞典 》 (1898年 )， 110萬(wàn)個(gè)詞的語(yǔ)言素材 。 ? 問(wèn)題：欲簡(jiǎn)（用詞簡(jiǎn)單）則繁（表達(dá)冗長(zhǎng)）。s BASIC ENGLISH Word List ? OPERATIONS 100 words（ 100個(gè)動(dòng)作的詞） ? e, get, give, go, keep, let, make, put, … ? THINGS 400 General words（ 400 個(gè)普通名詞） ? account, act, addition, adjustment, … ? THINGS 200 Picturable words （ 200 個(gè)可畫(huà)圖的名詞） ? angle, ant, apple, arch, arm, army, … ? QUALITIES 100 General （ 100 個(gè)普通形容詞） ? able, acid, angry, automatic, beautiful, black, … ? QUALITIES 50 Opposites （ 50 個(gè)有反義詞的形容詞） ? awake, bad, bent, bitter, blue, certain, cold,… 2022/6/3 13 OGDEN39。其中 ， 一級(jí)漢字 3755個(gè) ， 二級(jí)漢字3008個(gè) 。 （一）文獻(xiàn)中對(duì)詞的利用 100 30004000800045000高頻字 常用字 次常用字 罕見(jiàn)字 死字 2022/6/3 9 ? 國(guó)家文字改革委員會(huì)（ 語(yǔ)言文字工作委員會(huì) ） 統(tǒng)計(jì)： ? 掌握 2851個(gè)漢字可以滿(mǎn)足 99%的閱讀需要； ? 掌握 5018個(gè)漢字可以滿(mǎn)足 %的閱讀需要 。 2022/6/3 7 ? 《 毛澤東選集 》 （ 四卷合訂本 ， 1967年 ） 總詞量約66萬(wàn) ， 收錄 2775個(gè)漢字 。 2022/6/3 6 ? 《 漢語(yǔ)大詞典 》 （ 上海辭書(shū)出版社 ， 1986年 ） 共 12卷 ， 收詞 37萬(wàn)以上 。 ? 第一部英語(yǔ)詞典是 《 字順英語(yǔ)難詞表 》 。 ? 詞次數(shù) （ N‘ ） ：文獻(xiàn)的長(zhǎng)度 ， 總詞量 ， 包括同一詞重復(fù)出現(xiàn)的次數(shù) 。 ? 詞匯數(shù) （ N） ：文獻(xiàn)中出現(xiàn)的 不同詞的數(shù)量 。 5 Zipf定律的應(yīng)用 ＊ 2022/6/3 4 第一節(jié) 詞頻統(tǒng)計(jì)的產(chǎn)生和發(fā)展 ? 一 、 幾個(gè)基本概念 ? 詞頻 （ nr ） ：自然語(yǔ)言中某一個(gè)單詞在文獻(xiàn)中或講話中 出現(xiàn)的 次數(shù) （ 頻次 ） 。 3 Zipf第二定律 ? 167。 1 詞頻統(tǒng)計(jì)的產(chǎn)生和發(fā)展 ? 167。第七章 齊普夫定律 G. K. Zipf (19021950) 美國(guó)哈夫大學(xué)著名語(yǔ)言 學(xué)家和心理學(xué)家。 1929年《相對(duì)頻率：語(yǔ) 音變化的決定性因素》 1948年《人類(lèi)行為與最 省力法則 人類(lèi)生態(tài)學(xué) 引論》 2022/6/3 2 教學(xué)要求 ? 了解詞頻統(tǒng)計(jì)的產(chǎn)生和發(fā)展 ? 了解 Booth定律 ? 掌握 Zipf定律的表述、數(shù)學(xué)模型及圖像特征 ? 熟悉詞頻分布原理 ? 熟悉 Zipf定律應(yīng)用中的基本技術(shù)和方法 2022/6/3 3 主要教學(xué)內(nèi)容 ? 167。 2 Zipf定律的表示 ＊＊ ? 167。 4 詞頻分布原理 ＊ ? 167。 不同的詞匯在同一篇文獻(xiàn)中出現(xiàn)頻次的分布是不均勻的 。 即：文獻(xiàn)中作者使用了多少個(gè)不同的詞 。 2022/6/3 5 二、字 (詞 )典的收錄和選擇 ? 中國(guó)最早的詞典 —— 《 爾雅 》 (漢代 )，按詞的性質(zhì)和意義排列，詞目 91706條、 134萬(wàn)多字。 ? 1928年成書(shū)的 Oxford English Dictionary目前最新版本為20卷本第二版，收詞超過(guò) 50萬(wàn)條，引證例句 250萬(wàn)條，幾乎囊括了 1150年以來(lái)見(jiàn)于文獻(xiàn)的所有語(yǔ)詞。 （一）文獻(xiàn)中對(duì)詞的利用 ? 《 漢語(yǔ)大字典 》 （ 四川辭書(shū)出版社 ， 1986年 ） 全四卷 ， 收錄單字約 56000多個(gè) 。 （一）文獻(xiàn)中對(duì)詞的利用 2022/6/3 8 ? 漢字中 ， 目前人們使用的漢字約有 15000個(gè) 。 （一）文獻(xiàn)中對(duì)詞的利用 2022/6/3 10 ? 1981年的 《 通訊用漢字字符集 （ 基本集 ） 及其交換碼標(biāo)準(zhǔn) 》 （ GB231280）中確認(rèn) “ 漢字基本字符 ” 為 6763個(gè) 。 （一）文獻(xiàn)中對(duì)詞的利用 2022/6/3 11 （二）詞頻統(tǒng)計(jì)工具 ? 英國(guó)語(yǔ)言學(xué)家?jiàn)W格登 （ Charles ） 于1930年編撰了 Basic English: A General Introduction with Rules and Grammar If one were to take the 25,000 word Oxford Pocket English Dictionary and take away the redundancies of our rich language and eliminate the words that can be made by putting together simpler words, we find that 90% of the concepts in that dictionary can be achieved with 850 words. 2022/6/3 12 OGDEN39。s BASIC ENGLISH ? 優(yōu)點(diǎn)：簡(jiǎn)化語(yǔ)法、精簡(jiǎn)詞匯，受到美國(guó)總統(tǒng)羅斯福、英國(guó)首相丘吉爾的支持與提倡，在一定范圍內(nèi)使用，但并未得到推廣。 I heard → It came to my ears 2022/6/3 14 ? 頻率詞典 （ frequency dictionaries） —— 按詞出現(xiàn)頻率的高低而編排的詞典 。 ? 美國(guó)教育學(xué)家 (1874～ 1949)編寫(xiě)了 《 教師兩萬(wàn)詞詞書(shū) 》 (1921)和 《 教師三萬(wàn)詞詞書(shū) 》 (19