信息計(jì)量第七章ppt課件(存儲(chǔ)版)
【正文】 并對(duì)主體進(jìn)行頻次統(tǒng)計(jì)得到 f(x)=c/x2 2022/6/3 83 ? 從數(shù)學(xué)上講： ? 布拉德福分布與齊普夫分布具有一致性 ? 齊普夫分布與洛特卡分布具有一致性 ? 則布拉德福與洛特卡等價(jià)，必定具有一致性（以齊普夫分布為中介） 2022/6/3 84 ? 情報(bào)學(xué)家費(fèi)爾桑 （ ） 在分析了這一類現(xiàn)象的基本特征后指出 ? 信息單元 （ 事項(xiàng) ） 與其信息源的概率密度服從經(jīng)驗(yàn)雙曲分布 （ empirical hyperbolic distributions） 或負(fù)冪分布 ， 表示為： ? ? ? kfnn ??2022/6/3 85 ? 負(fù)冪分布的實(shí)例 ? 事項(xiàng)（產(chǎn)物） 來(lái)源 發(fā)現(xiàn)研究者 ? 論文數(shù) 期刊 Bradford ? 論文數(shù) 作者 Lotka ? 詞頻 詞匯 Zipf ? 引文數(shù) 被引者 Heine ? 檢出頻次 圖書 Buckland ? 句子的長(zhǎng)度 句子 Hubert ? 音素?cái)?shù) 詞 Hubert ? 收入水平 收入者 Buzzell ? 規(guī)模 城市 Bach ? 規(guī)模 商行 Ijiri ? 姓氏 人名 Fox 2022/6/3 86 三、布 齊 洛分布的機(jī)理分析和理論模型 （一）機(jī)理分析 共同特征：都是研究主體特征在主體上集中與分散的現(xiàn)象 一方面，大量的主體特征分布在少數(shù)的主體上，形成象布拉德福分布的核心期刊，齊普夫分布的高頻詞和洛特卡分布的高產(chǎn)作者；另一方面，少量的主體特征廣泛分布在多數(shù)的主體源中，如布氏的邊緣期刊，齊普夫分布的低頻詞和洛特卡分布的低產(chǎn)作者 產(chǎn)生原因如下： 2022/6/3 87 科學(xué)發(fā)展客觀規(guī)律的制約 文獻(xiàn)信息集中與分散規(guī)律是文獻(xiàn)交流過程內(nèi)在規(guī)律的放映，尤其受到科學(xué)發(fā)展客觀規(guī)律的制約 2022/6/3 88 人為控制主觀因素的影響 人類社會(huì) ,人的行為目的通過競(jìng)爭(zhēng)達(dá)到 ,競(jìng)爭(zhēng)的優(yōu)勝者具有更多的機(jī)會(huì) 編輯部對(duì)稿件的取舍 球隊(duì)教練對(duì)上場(chǎng)球員的安排 撰寫文章時(shí)對(duì)參考文獻(xiàn)的選擇等 2022/6/3 89 馬太效應(yīng) （ Matthews Effect） ? 人類行為目的具有層次性和連續(xù)性 2022/6/3 90 ? （ Principle of Least Effort）與競(jìng)爭(zhēng)的手段與方法 ? 人所擁有的資源（時(shí)間、精力、財(cái)力等） ? 是有限的 2022/6/3 91 (二 )布 齊 洛分布一致性的理論模型 普利亞（ Polya）單缸模型（羅松布朗特缸模型） 設(shè)計(jì)如下：初始狀態(tài)下，單缸中有 r個(gè)紅球和 b個(gè)黑球，隨機(jī)從缸中取球。 事實(shí)上，只有那些詞頻適中的詞的區(qū)分能力較強(qiáng)，它們被稱為“有效詞”（ significant words）。 ? “最小省力原則”的實(shí)現(xiàn)因人而異。 漢語(yǔ)中 雙音節(jié)詞詞長(zhǎng)適度、經(jīng)濟(jì)靈活，成為最合理的構(gòu)詞方式，促使許多新產(chǎn)生的多音節(jié)詞及專有名詞等都回縮到雙音節(jié)或三音節(jié)的模式中，向雙音節(jié)、三音節(jié)形式靠攏。 文章 Eldridge 總詞次數(shù) N’ 4325 4409 8734 43989 單詞總數(shù) N 1001 1211 1698 6002 I1 541 710 887 2971 I2 152 227 273 1097 I3 94 91 151 516 I4 56 41 90 294 I5 36 32 62 212 In/ I1 的理論值與實(shí)測(cè)值的比較 I2/ I1 I3/ I1 I4/ I1 I5/ I1 I6/ I1 I7/ I1 I8/ I1 I9/ I1 I10/ I1 計(jì)算值 實(shí)測(cè)值 )1(21 ?? nnII n2022/6/3 40 ? 高頻詞 （ c o m m o n） 與低頻詞 （ r a r e words） 出現(xiàn)的 “ 唯一性 ” 將隨著詞的出現(xiàn)的頻次的降低逐漸遭到破壞 ， 即出現(xiàn)同頻詞的可能性逐漸加大 ， 因此 ， 我們可以把同頻詞是否出現(xiàn)作為判定高頻詞和低頻詞界限的 “ 尺度 ” 。 11???Drrf2022/6/3 35 二、 齊普夫定律的修正 —— 三參數(shù)模型 ? 1952年美籍法國(guó)數(shù)學(xué)家曼代爾布羅特 （ ） 提出三參數(shù)模型： 式中 ， 0≤a1, b0, c0 , r=1,2,3.....,D 且滿足 br arcf)( ??11???Drrf? 對(duì)于齊夫定律的表述 , 許多工具書大都采用類似觀點(diǎn)和說(shuō)法 。r 最大排序 nr and so on. 2022/6/3 23 對(duì) 75個(gè)單詞的出現(xiàn)頻次的統(tǒng)計(jì) 單詞 頻次 the 9 in， of 7 a， one 6 Law 5 and， it 4 Zipf’ s， suppose， that 3 21個(gè)詞 2 43個(gè)詞 1 單詞 頻次 ( nr) 等級(jí) ( r ) 乘積 ( nr （二）詞頻統(tǒng)計(jì)工具 2022/6/3 17 2022/6/3 18 nrs BASIC ENGLISH ? 優(yōu)點(diǎn)：簡(jiǎn)化語(yǔ)法、精簡(jiǎn)詞匯，受到美國(guó)總統(tǒng)羅斯福、英國(guó)首相丘吉爾的支持與提倡，在一定范圍內(nèi)使用，但并未得到推廣。 （一）文獻(xiàn)中對(duì)詞的利用 ? 《 漢語(yǔ)大字典 》 （ 四川辭書出版社 ， 1986年 ） 全四卷 ， 收錄單字約 56000多個(gè) 。 不同的詞匯在同一篇文獻(xiàn)中出現(xiàn)頻次的分布是不均勻的 。第七章 齊普夫定律 G. K. Zipf (19021950) 美國(guó)哈夫大學(xué)著名語(yǔ)言 學(xué)家和心理學(xué)家。 ? 詞匯數(shù) （ N） ：文獻(xiàn)中出現(xiàn)的 不同詞的數(shù)量 。 2022/6/3 7 ? 《 毛澤東選集 》 （ 四卷合訂本 ， 1967年 ） 總詞量約66萬(wàn) ， 收錄 2775個(gè)漢字 。 ? 問題：欲簡(jiǎn)（用詞簡(jiǎn)單）則繁（表達(dá)冗長(zhǎng)）。r =k 或 nr=kr1 ? 一 、 齊普夫的前期研究工作 ? (艾思杜 )的研究 （ 1916） 若將文獻(xiàn) （ 文集 ） 中出現(xiàn)的詞匯 （ N） 按其出現(xiàn)的頻次 （ n） 的高低做遞減排序 ， 并依次給予相應(yīng)的等級(jí)序號(hào) （ r） ， （ r=1， 2， 3........， D） ， 則等級(jí)序號(hào) （ r） 與相應(yīng)的頻次 （ nr） 的乘積 （ nrr ) the 9 1 9 in， of 7 23，平均 a， one 6 45，平均 law 5 6 and， it 4 78平均 suppose， that，Zipf’ s 3 911，平均 21個(gè)單詞 2 1232，平均 43個(gè)單詞 1 3375，平均 高頻詞 低語(yǔ)義詞 nr r lnnr lnr nr=k/r 如果以等級(jí)序號(hào) r 為橫軸 ， 詞頻 nr 為縱軸 ， 其分布圖形為一等軸雙曲線 。r the 9 1
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號(hào)-1