信息計(jì)量第七章ppt課件(已修改)
2025-05-24 06:25 本頁(yè)面
【正文】 第七章 齊普夫定律 G. K. Zipf (19021950) 美國(guó)哈夫大學(xué)著名語(yǔ)言 學(xué)家和心理學(xué)家。 1929年《相對(duì)頻率：語(yǔ) 音變化的決定性因素》 1948年《人類(lèi)行為與最 省力法則 人類(lèi)生態(tài)學(xué) 引論》 2022/6/3 2 教學(xué)要求 ? 了解詞頻統(tǒng)計(jì)的產(chǎn)生和發(fā)展 ? 了解 Booth定律 ? 掌握 Zipf定律的表述、數(shù)學(xué)模型及圖像特征 ? 熟悉詞頻分布原理 ? 熟悉 Zipf定律應(yīng)用中的基本技術(shù)和方法 2022/6/3 3 主要教學(xué)內(nèi)容 ? 167。 1 詞頻統(tǒng)計(jì)的產(chǎn)生和發(fā)展 ? 167。 2 Zipf定律的表示 ＊＊ ? 167。 3 Zipf第二定律 ? 167。 4 詞頻分布原理 ＊ ? 167。 5 Zipf定律的應(yīng)用 ＊ 2022/6/3 4 第一節(jié) 詞頻統(tǒng)計(jì)的產(chǎn)生和發(fā)展 ? 一 、 幾個(gè)基本概念 ? 詞頻 （ nr ） ：自然語(yǔ)言中某一個(gè)單詞在文獻(xiàn)中或講話中 出現(xiàn)的 次數(shù) （ 頻次 ） 。 不同的詞匯在同一篇文獻(xiàn)中出現(xiàn)頻次的分布是不均勻的 。 ? 詞匯數(shù) （ N） ：文獻(xiàn)中出現(xiàn)的 不同詞的數(shù)量 。 即：文獻(xiàn)中作者使用了多少個(gè)不同的詞 。 ? 詞次數(shù) （ N‘ ） ：文獻(xiàn)的長(zhǎng)度 ， 總詞量 ， 包括同一詞重復(fù)出現(xiàn)的次數(shù) 。 2022/6/3 5 二、字 (詞 )典的收錄和選擇 ? 中國(guó)最早的詞典 —— 《 爾雅 》 (漢代 )，按詞的性質(zhì)和意義排列，詞目 91706條、 134萬(wàn)多字。 ? 第一部英語(yǔ)詞典是 《 字順英語(yǔ)難詞表 》 。 ? 1928年成書(shū)的 Oxford English Dictionary目前最新版本為20卷本第二版，收詞超過(guò) 50萬(wàn)條，引證例句 250萬(wàn)條，幾乎囊括了 1150年以來(lái)見(jiàn)于文獻(xiàn)的所有語(yǔ)詞。 2022/6/3 6 ? 《 漢語(yǔ)大詞典 》 （ 上海辭書(shū)出版社 ， 1986年 ） 共 12卷 ， 收詞 37萬(wàn)以上 。 （一）文獻(xiàn)中對(duì)詞的利用 ? 《 漢語(yǔ)大字典 》 （ 四川辭書(shū)出版社 ， 1986年 ） 全四卷 ， 收錄單字約 56000多個(gè) 。 2022/6/3 7 ? 《 毛澤東選集 》 （ 四卷合訂本 ， 1967年 ） 總詞量約66萬(wàn) ， 收錄 2775個(gè)漢字 。 （一）文獻(xiàn)中對(duì)詞的利用 2022/6/3 8 ? 漢字中 ， 目前人們使用的漢字約有 15000個(gè) 。 （一）文獻(xiàn)中對(duì)詞的利用 100 30004000800045000高頻字 常用字 次常用字 罕見(jiàn)字 死字 2022/6/3 9 ? 國(guó)家文字改革委員會(huì)（ 語(yǔ)言文字工作委員會(huì) ） 統(tǒng)計(jì)： ? 掌握 2851個(gè)漢字可以滿(mǎn)足 99%的閱讀需要； ? 掌握 5018個(gè)漢字可以滿(mǎn)足 %的閱讀需要 。 （一）文獻(xiàn)中對(duì)詞的利用 2022/6/3 10 ? 1981年的 《 通訊用漢字字符集 （ 基本集 ） 及其交換碼標(biāo)準(zhǔn) 》 （ GB231280）中確認(rèn) “ 漢字基本字符 ” 為 6763個(gè) 。其中 ， 一級(jí)漢字 3755個(gè) ， 二級(jí)漢字3008個(gè) 。 （一）文獻(xiàn)中對(duì)詞的利用 2022/6/3 11 （二）詞頻統(tǒng)計(jì)工具 ? 英國(guó)語(yǔ)言學(xué)家?jiàn)W格登 （ Charles ） 于1930年編撰了 Basic English: A General Introduction with Rules and Grammar If one were to take the 25,000 word Oxford Pocket English Dictionary and take away the redundancies of our rich language and eliminate the words that can be made by putting together simpler words, we find that 90% of the concepts in that dictionary can be achieved with 850 words. 2022/6/3 12 OGDEN39。s BASIC ENGLISH Word List ? OPERATIONS 100 words（ 100個(gè)動(dòng)作的詞） ? e, get, give, go, keep, let, make, put, … ? THINGS 400 General words（ 400 個(gè)普通名詞） ? account, act, addition, adjustment, … ? THINGS 200 Picturable words （ 200 個(gè)可畫(huà)圖的名詞） ? angle, ant, apple, arch, arm, army, … ? QUALITIES 100 General （ 100 個(gè)普通形容詞） ? able, acid, angry, automatic, beautiful, black, … ? QUALITIES 50 Opposites （ 50 個(gè)有反義詞的形容詞） ? awake, bad, bent, bitter, blue, certain, cold,… 2022/6/3 13 OGDEN39。s BASIC ENGLISH ? 優(yōu)點(diǎn)：簡(jiǎn)化語(yǔ)法、精簡(jiǎn)詞匯，受到美國(guó)總統(tǒng)羅斯福、英國(guó)首相丘吉爾的支持與提倡，在一定范圍內(nèi)使用，但并未得到推廣。 ? 問(wèn)題：欲簡(jiǎn)（用詞簡(jiǎn)單）則繁（表達(dá)冗長(zhǎng)）。 I heard → It came to my ears 2022/6/3 14 ? 頻率詞典 （ frequency dictionaries） —— 按詞出現(xiàn)頻率的高低而編排的詞典 。 ? 世界上第一部頻率詞典 —— 德國(guó)語(yǔ)言學(xué)家凱丁()《 德語(yǔ)頻率詞典 》 (1898年 )， 110萬(wàn)個(gè)詞的語(yǔ)言素材 。 ? 美國(guó)教育學(xué)家 (1874～ 1949)編寫(xiě)了 《 教師兩萬(wàn)詞詞書(shū) 》 (1921)和 《 教師三萬(wàn)詞詞書(shū) 》 (1944)。做了大量的英語(yǔ)詞匯的頻率統(tǒng)計(jì)工作 。 （二）詞頻統(tǒng)計(jì)工具 2022/6/3 15 ? 南京高等師范到南京大學(xué)教授 ， 杰 出的現(xiàn)代兒童教育家 ? 我國(guó)近代教育家 陳鶴琴 (1892～ 1982)第一部 漢語(yǔ)頻率 字 典 《 語(yǔ)體文應(yīng)用字匯 》 (1928) ， 從554478個(gè)漢字中析出 4261個(gè)單字 。 ? 江澤民為陳鶴琴先生雕像墓碑落成題詞： “ 學(xué)習(xí)愛(ài)國(guó)老教育家陳鶴琴先生的獻(xiàn)身精神和創(chuàng)業(yè)精神 ， 深化教育改革 ， 為培育四有新人 ， 振興中華的大業(yè)而奮斗 !” （二）詞頻統(tǒng)計(jì)工具 2022/6/3 16 ? 北京語(yǔ)言學(xué)院語(yǔ)言教學(xué)研究所采用人工與計(jì)算機(jī)相結(jié)合的辦法 ， 對(duì)近 200萬(wàn)字的漢語(yǔ)語(yǔ)料進(jìn)行詞頻統(tǒng)計(jì) ，編制了 《 現(xiàn)代漢語(yǔ)頻率詞典 》 ， 收詞 31159條 ， 這是中國(guó)正式出版的第一部漢語(yǔ)頻率詞典 。 （二）詞頻統(tǒng)計(jì)工具 2022/6/3 17 2022/6/3 18 nrr =k 或 nr=kr1 ? 一 、 齊普夫的前期研究工作 ? (艾思杜 )的研究 （ 1916） 若將文獻(xiàn) （ 文集 ） 中出現(xiàn)的詞匯 （ N） 按其出現(xiàn)的頻次 （ n） 的高低做遞減排序 ， 并依次給予相應(yīng)的等級(jí)序號(hào) （ r） ， （ r=1， 2， 3........， D） ， 則等級(jí)序號(hào) （ r） 與相應(yīng)的頻次 （ nr） 的乘積 （ nrr ） 大體上為一常數(shù) （ k） 。 第二節(jié) 齊普夫定律的表示 2022/6/3 19 ? (貢東 )的研究 （ 1928） 取等級(jí)序號(hào)的對(duì)數(shù) （ lnr） 以及每個(gè)詞出現(xiàn)頻次的對(duì)數(shù) （ lnnr） 做圖 ， 發(fā)現(xiàn)存在線性關(guān)系 。 直線與橫軸的夾角約為 π/4， 即直線的斜率為 1。 其數(shù) 學(xué)關(guān)系可表示為： lnnr
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號(hào)-1