信息計(jì)量第七章ppt課件-wenkub
2023-05-27 06:25:30 本頁面
【正文】 Oxford Pocket English Dictionary and take away the redundancies of our rich language and eliminate the words that can be made by putting together simpler words, we find that 90% of the concepts in that dictionary can be achieved with 850 words. 2022/6/3 12 OGDEN39。 （一）文獻(xiàn)中對詞的利用 2022/6/3 8 ? 漢字中 ， 目前人們使用的漢字約有 15000個(gè) 。 ? 1928年成書的 Oxford English Dictionary目前最新版本為20卷本第二版，收詞超過 50萬條，引證例句 250萬條，幾乎囊括了 1150年以來見于文獻(xiàn)的所有語詞。 即：文獻(xiàn)中作者使用了多少個(gè)不同的詞 。 4 詞頻分布原理 ＊ ? 167。 1929年《相對頻率：語 音變化的決定性因素》 1948年《人類行為與最 省力法則 人類生態(tài)學(xué) 引論》 2022/6/3 2 教學(xué)要求 ? 了解詞頻統(tǒng)計(jì)的產(chǎn)生和發(fā)展 ? 了解 Booth定律 ? 掌握 Zipf定律的表述、數(shù)學(xué)模型及圖像特征 ? 熟悉詞頻分布原理 ? 熟悉 Zipf定律應(yīng)用中的基本技術(shù)和方法 2022/6/3 3 主要教學(xué)內(nèi)容 ? 167。 1 詞頻統(tǒng)計(jì)的產(chǎn)生和發(fā)展 ? 167。 5 Zipf定律的應(yīng)用 ＊ 2022/6/3 4 第一節(jié) 詞頻統(tǒng)計(jì)的產(chǎn)生和發(fā)展 ? 一 、 幾個(gè)基本概念 ? 詞頻 （ nr ） ：自然語言中某一個(gè)單詞在文獻(xiàn)中或講話中 出現(xiàn)的 次數(shù) （ 頻次 ） 。 ? 詞次數(shù) （ N‘ ） ：文獻(xiàn)的長度 ， 總詞量 ， 包括同一詞重復(fù)出現(xiàn)的次數(shù) 。 2022/6/3 6 ? 《 漢語大詞典 》 （ 上海辭書出版社 ， 1986年 ） 共 12卷 ， 收詞 37萬以上 。 （一）文獻(xiàn)中對詞的利用 100 30004000800045000高頻字 常用字 次常用字 罕見字 死字 2022/6/3 9 ? 國家文字改革委員會(huì)（ 語言文字工作委員會(huì) ） 統(tǒng)計(jì)： ? 掌握 2851個(gè)漢字可以滿足 99%的閱讀需要； ? 掌握 5018個(gè)漢字可以滿足 %的閱讀需要 。s BASIC ENGLISH Word List ? OPERATIONS 100 words（ 100個(gè)動(dòng)作的詞） ? e, get, give, go, keep, let, make, put, … ? THINGS 400 General words（ 400 個(gè)普通名詞） ? account, act, addition, adjustment, … ? THINGS 200 Picturable words （ 200 個(gè)可畫圖的名詞） ? angle, ant, apple, arch, arm, army, … ? QUALITIES 100 General （ 100 個(gè)普通形容詞） ? able, acid, angry, automatic, beautiful, black, … ? QUALITIES 50 Opposites （ 50 個(gè)有反義詞的形容詞） ? awake, bad, bent, bitter, blue, certain, cold,… 2022/6/3 13 OGDEN39。 ? 世界上第一部頻率詞典 —— 德國語言學(xué)家凱丁()《 德語頻率詞典 》 (1898年 )， 110萬個(gè)詞的語言素材 。 ? 江澤民為陳鶴琴先生雕像墓碑落成題詞： “ 學(xué)習(xí)愛國老教育家陳鶴琴先生的獻(xiàn)身精神和創(chuàng)業(yè)精神 ， 深化教育改革 ， 為培育四有新人 ， 振興中華的大業(yè)而奮斗 !” （二）詞頻統(tǒng)計(jì)工具 2022/6/3 16 ? 北京語言學(xué)院語言教學(xué)研究所采用人工與計(jì)算機(jī)相結(jié)合的辦法 ， 對近 200萬字的漢語語料進(jìn)行詞頻統(tǒng)計(jì) ，編制了 《 現(xiàn)代漢語頻率詞典 》 ， 收詞 31159條 ， 這是中國正式出版的第一部漢語頻率詞典 。 第二節(jié) 齊普夫定律的表示 2022/6/3 19 ? (貢東 )的研究 （ 1928） 取等級序號的對數(shù) （ lnr） 以及每個(gè)詞出現(xiàn)頻次的對數(shù) （ lnnr） 做圖 ， 發(fā)現(xiàn)存在線性關(guān)系 。 the next most frequency, rank 2。直線的斜率約為 1。r 均值排序 nr試驗(yàn)證明：當(dāng)15r1500時(shí)，同頻詞不多；當(dāng) r1500時(shí)，大量的同頻詞出現(xiàn)。 ? 懷利斯（ ）對 8個(gè)不同樣本的研究結(jié)果： b。r=c，方程式中 f=頻次， r=序號，即頻率表上的位置； c=常數(shù)。 2022/6/3 37 三、 齊夫第二定律 （一） —— Booth,.:Information and Control, 1967(10):386393 ? 設(shè)文獻(xiàn)中同頻詞 （ 出現(xiàn)頻次為 n 的詞 ） 的個(gè)數(shù)為 In， 則 In 與 I1 比值的大小僅僅取決于頻次 n 的高低 ,， 與文獻(xiàn)的長度 （ 總詞次數(shù) N’ ） 以及常數(shù)值 c 無關(guān) ， 即： )1(21 ??nnII n美國西保留地凱西大學(xué)（ Western Reserve University）文獻(xiàn)交流中心和埃德基（ Eldridge）對 4篇英語文獻(xiàn)詞頻分布的統(tǒng)計(jì)結(jié)果。 2211 rrnnnnIIrr ???（三）低頻詞的數(shù)量與其在文獻(xiàn)中出現(xiàn)的頻次之間的關(guān)系 2022/6/3 43 第四節(jié) 詞頻分布原理 ? 一、“省力法則”假說 ? 《 人類行為與最省力法則 —— 人類生態(tài)學(xué)引論 》 (G. K. Zipf. Human Behaviour and the Principle of Least Effort: an Introduction to Human Ecology. AddisonWesley,1949) 2022/6/3 44 A地 Human Behaviour and the Principle of Least Effort B地 2022/6/3 45 雙重力平衡的結(jié)果 —— 雙曲線分布 ? 在語言交流過程中 ， “ 省力法則 ” 同時(shí)體現(xiàn)在說話人和聽話人身上 。 ? “ 寡用冗長” ? “用盡廢退” ? 事多而寡用之， 意多而約出之。 2022/6/3 50 the Principle of Least Effort ? 對“最小省力原則”應(yīng)辨證地看： ? 自然語言中詞的“短化”不是絕對的，而是有人的自然的惰性與語言熵相互矛盾作用的結(jié)果。 2022/6/3 51 第四節(jié) 詞頻分布原理 ? 二、“成功產(chǎn)生成功”假說 ? ：在文獻(xiàn)中， 一詞使用的次數(shù)越多，則再次使用的可能性越大。 ：文獻(xiàn)中每一個(gè)詞都有一定的“分辨能” (discrimination power)，而這種能力與詞出現(xiàn)的頻次有著密切的關(guān)系。 ? 設(shè)計(jì)圖書館、信息中心資料庫的排架。 ? 問題：假定這 60000個(gè)單詞在文獻(xiàn)中出現(xiàn)的頻次服從 Zipf定律，那么一個(gè)人如果認(rèn)識上述 20220個(gè)常用單詞，即當(dāng) m=20220時(shí) (1/3)，對英文讀物的詞匯覆蓋率有多大？ 2022/6/3 62 齊夫定律的啟示 —— 英語單詞的選擇 ? 由 nr=k/r可知，排列在前 m個(gè)等級詞出現(xiàn)的總頻次為： ?? ????mrmrr rknmR111)()57 (ln11???????mrmr)( ln)( ??? mkmR?
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號-1