信息計(jì)量第七章ppt課件-展示頁(yè)
2025-05-21 06:25本頁(yè)面
【正文】 44)。 （二）詞頻統(tǒng)計(jì)工具 2022/6/3 15 ? 南京高等師范到南京大學(xué)教授 ， 杰 出的現(xiàn)代兒童教育家 ? 我國(guó)近代教育家 陳鶴琴 (1892～ 1982)第一部 漢語(yǔ)頻率 字 典 《 語(yǔ)體文應(yīng)用字匯 》 (1928) ， 從554478個(gè)漢字中析出 4261個(gè)單字 。 （二）詞頻統(tǒng)計(jì)工具 2022/6/3 17 2022/6/3 18 nrr ） 大體上為一常數(shù) （ k） 。 直線與橫軸的夾角約為 π/4， 即直線的斜率為 1。 二、 Zipf定律 rknkrnrr ??? 或詞頻統(tǒng)計(jì)表 詞的等級(jí)序號(hào)（ r） 詞出現(xiàn)的頻次（ nr） 1 n1 2 n2 3 n3 … … … … r nr … … … … D nD 2022/6/3 22 以 Rondld E. Wyllys: Empirical and Theoretical Bases of Zipf’ s Law（齊普夫定律的經(jīng)驗(yàn)根據(jù)與理論基礎(chǔ)）前兩段作為詞頻分布的統(tǒng)計(jì)對(duì)象，該文如下： Introduction One of the most puzzling phenomena in bibliometrics and, more broadly, in quantitative linguistics is Zipf’ s law. As one mentator, the statistician Gustav Herdan, has put it:“ Mathematicians believe in it (Zipf’ s law) because they think that linguists have established it to be a linguistic law, and linguists believe in it because they, on their part, think that mathematicians have established it to be a mathematical law.” Let us start by considering a basic form of Zipf’ s law. Suppose one has a natural language corpus, ., a book written in English. Next, suppose one makes a frequency count of the words in the corpus, ., counts the number of occurrences of the, and, of, etc. Finally, suppose one arranges the words in decreasing order of frequency so that the most frequent word has rank 1。 and so on. 2022/6/3 23 對(duì) 75個(gè)單詞的出現(xiàn)頻次的統(tǒng)計(jì) 單詞 頻次 the 9 in， of 7 a， one 6 Law 5 and， it 4 Zipf’ s， suppose， that 3 21個(gè)詞 2 43個(gè)詞 1 單詞 頻次 ( nr) 等級(jí) ( r ) 乘積 ( nr 如果以等級(jí)序號(hào) r 的對(duì)數(shù)為橫軸，詞頻 nr 的對(duì)數(shù)為縱軸，其分布圖形為一直線。 齊普夫定律的圖像描述 Linear scales on both axes Logarithmic scales on both axes 2022/6/3 27 設(shè) N’ 為總詞次數(shù) ， fr為等級(jí)為 r 的詞出現(xiàn)的頻率 ， 則有如下關(guān)系 fr=nr/N’ 對(duì)于 fr=cr1， (二 ) 參數(shù) c 值的推論 ???????????DrDrDrrrcrcf1111111)5 7 7 (ln13121111??????????????為歐拉常數(shù)，DDrDr??? 對(duì)于上式，當(dāng) D （最末一級(jí)詞的等級(jí)序號(hào)）比較大時(shí)， ? 當(dāng)取 D 為一定數(shù)值時(shí) ， 計(jì)算其對(duì)應(yīng)的 c 值： D c 5000 10000 50000 100000 ? 可以認(rèn)為 c≈。 ??? Dc ln12022/6/3 29 (三 )對(duì) Zipf 定律的幾點(diǎn)討論 ? 1. 高頻詞作用的局限性 高頻詞區(qū) 低頻詞區(qū) 中頻詞區(qū) 英語(yǔ)、拉丁語(yǔ)的詞頻分布 ? 2. 同頻詞的排序 單詞 頻次 隨機(jī)排序 nrr 最大排序 nrr the 9 1 9 In of 7 7 2 3 14 14 A one 6 6 4 5 24 24 law 5 6 30 And it 4 4 7 8 28 32 Suppose That Zipf’ s 3 3 3 9 10 11 27 30 33 21個(gè)單詞 2 1232 24…64 43個(gè)單詞 1 3375 33…75 在 隨機(jī)排序 中，同頻詞的出現(xiàn)將隨詞頻的降低而增多，產(chǎn)生“階梯”狀圖形。 因同頻詞存在，低頻詞區(qū)呈階梯狀分布。 詞頻相同 （ lnnr） 序號(hào)遞增 （ lnr） lnnr lnr 2022/6/3 33 第三節(jié) 齊普夫定律的修正和發(fā)展 2022/6/3 34 一、 齊普夫定律的修正 —— 雙參數(shù)模型 ? 1936年美國(guó)語(yǔ)言學(xué)家朱斯 （ ） 提出的雙參數(shù)模型 —— “ 通用齊夫定律 ” （ Generalized Zipf’ s Law） nr=k/rb 或 fr=c/rb 式中 ， b0, c0, r=1,2,3.......,D） 且滿足 對(duì)上式取對(duì)數(shù) , 圖像顯示為一斜率為 b 的直線 。 11???Drrf2022/6/3 35 二、 齊普夫定律的修正 —— 三參數(shù)模型 ? 1952年美籍法國(guó)數(shù)學(xué)家曼代爾布羅特 （ ） 提出三參數(shù)模型： 式中 ， 0≤a1, b0, c0 , r=1,2,3.....,D 且滿足 br arcf)( ??11???Drrf? 對(duì)于齊夫定律的表述 , 許多工具書(shū)大都采用類似觀點(diǎn)和說(shuō)法 。 f方程式表示詞使用的總次數(shù)和詞頻表上的位置之間有一個(gè)固定比率。于是對(duì)詞頻分布規(guī)律又有許多補(bǔ)充和深化的研究。 文章 Eldridge 總詞次數(shù) N’ 4325 4409 8734 43989 單詞總數(shù) N 1001 1211 1698 6002 I1 541 710 887 2971
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號(hào)-1