python電子教案6-2組合數(shù)據(jù)類(lèi)型(ppt54頁(yè))(編輯修改稿)
2025-02-24 20:11 本頁(yè)面
【文章內(nèi)容簡(jiǎn)介】 類(lèi)型的分詞函數(shù) 。 jieba庫(kù)的解析 默認(rèn)情況下 ， 表 ()等 6個(gè)分詞函數(shù)能夠較高概率識(shí)別自定義的新詞 ， 比如名字或縮寫(xiě) ， 例如 ， 下例中本書(shū)作者的姓名不在詞典中 ， 但分詞函數(shù)能夠根據(jù)中文字符間的相關(guān)性識(shí)別為一個(gè)詞 。 對(duì)于無(wú)法識(shí)別的分詞 ， 也可以通過(guò) ()函數(shù)向分詞庫(kù)添加 ， 例子如下 。 jieba庫(kù)的解析 import jieba (嵩天老師在努力教學(xué) Python語(yǔ)言 ) [39。嵩天 39。, 39。老師 39。, 39。在 39。, 39。努力 39。, 39。教學(xué) 39。, 39。Python39。, 39。語(yǔ)言 39。] (習(xí)大大期盼有更好的教育 ) [39。習(xí) 39。, 39。大大 39。, 39。期盼 39。, 39。有 39。, 39。更好 39。, 39。的 39。, 39。教育 39。] (習(xí)大大 ) (習(xí)大大期盼有更好的教育 ) [39。習(xí)大大 39。, 39。期盼 39。, 39。有 39。, 39。更好 39。, 39。的 39。, 39。教育 39。] jieba庫(kù)的解析 文本詞頻統(tǒng)計(jì) 在很多情況下 ， 會(huì)遇到這樣的問(wèn)題：對(duì)于一篇給定文章 ， 希望統(tǒng)計(jì)其中多次出現(xiàn)的詞語(yǔ) ， 進(jìn)而概要分析文章的內(nèi)容 。 這個(gè)問(wèn)題的解決可用于對(duì)網(wǎng)絡(luò)信息進(jìn)行自動(dòng)檢索和歸檔 。 在信息爆炸時(shí)代 ， 這種歸檔或分類(lèi)十分有必要 。 這就是 “詞頻統(tǒng)計(jì) ”問(wèn)題 。 從思路上看 ， 詞頻統(tǒng)計(jì)只是累加問(wèn)題 ， 即對(duì)文檔中每個(gè)詞設(shè)計(jì)一個(gè)計(jì)數(shù)器 ，詞語(yǔ)每出現(xiàn)一次 ， 相關(guān)計(jì)數(shù)器加 1。 如果以詞語(yǔ)為鍵 ， 計(jì)數(shù)器為值 ， 構(gòu)成 單詞 :出現(xiàn)次數(shù) 的鍵值對(duì) ， 將很好地解決該問(wèn)題 。 這就是字典類(lèi)型的優(yōu)勢(shì) 。 文本詞頻統(tǒng)計(jì) 下面 ， 采用字典來(lái)解決詞頻統(tǒng)計(jì)問(wèn)題 。 該問(wèn)題的 IPO描述如下： 輸入：從文件中讀取一篇文章 處理：采用字典數(shù)據(jù)結(jié)構(gòu)統(tǒng)計(jì)詞語(yǔ)出現(xiàn)頻率 輸出：輸出文章中最常出現(xiàn)的 10個(gè)單詞及出現(xiàn)次數(shù) 英文文本以空格或標(biāo)點(diǎn)符號(hào)來(lái)分割詞語(yǔ) ， 獲得單詞并統(tǒng)計(jì)數(shù)量相對(duì)容易 ， 。 中文字符之間沒(méi)有天然的分隔符 ，需要對(duì)中文文本進(jìn)行分詞 ， 。 文本詞頻統(tǒng)計(jì) Hamlet， 《 哈姆雷特 》 ， 是莎士比亞的一部經(jīng)典悲劇作品 ， 講述了 克勞狄斯叔叔謀害哈姆雷特父親并篡取王位 、 哈姆雷特流浪在外并向叔叔復(fù)仇的故事 。 《 哈姆雷特 》 也叫 《 王子復(fù)仇記 》 ， 代表著整個(gè)西方文藝復(fù)興時(shí)期文學(xué)的最高成就 ， 很多國(guó)內(nèi)外電影都以這個(gè)故事為原型 。 獲取該故事的文本文件 ， 保存為 。 全文可以從網(wǎng)絡(luò)上找到 ，或從本書(shū)提供的電子資源中獲取 。 文本詞頻統(tǒng)計(jì) 統(tǒng)計(jì) Hamlet英文詞頻的第一步是分解并提取英文文章的單詞 。 同一個(gè)單詞會(huì)存在大小寫(xiě)不同形式 ， 但計(jì)數(shù)卻不能區(qū)分大小寫(xiě) 。 假設(shè) Hamlet文本由變量txt表示 ， 可以通過(guò) ()函數(shù)將字母變成小寫(xiě) ， 排除原文大小寫(xiě)差異對(duì)詞頻統(tǒng)計(jì)的干擾 。 英文單詞的分割可以是空格 、 標(biāo)點(diǎn)符號(hào)或者特殊符號(hào) 。 為統(tǒng)一分隔方式 ， 可以將各種特殊字符和標(biāo)點(diǎn)符號(hào)使用 txt. replace()方法替換成空格 ， 再提取單詞 。 統(tǒng)計(jì)詞頻的第二步是對(duì)每個(gè)單詞進(jìn)行計(jì)數(shù) 。 假設(shè)將單詞保存在變量 word中， 使用一個(gè)字典類(lèi)型 counts={}， 統(tǒng)計(jì)單詞出現(xiàn)的次數(shù)可采用如下代碼 counts[word] = counts[word] + 1 文本詞頻統(tǒng)計(jì) 當(dāng)遇到一個(gè)新詞時(shí) ， 單詞沒(méi)有出現(xiàn)在字典結(jié)構(gòu)中 ， 則需要在字典中新建鍵值對(duì)： counts[new_word] = 1 因此 ， 無(wú)論詞是否在字典中 ， 加入字典 counts中的處理邏輯可以統(tǒng)一表示為： if word in counts: counts[word] = counts[word] + 1 else: counts[word] = 1 或者 ， 這個(gè)處理邏輯可以更簡(jiǎn)潔的表示為如下代碼： counts[word] = (word,0) + 1 文本詞頻統(tǒng)計(jì) ? 字典類(lèi)型的 (word,0)方法表示：如果 word在 counts中 ， 則返回 word對(duì)應(yīng)的值 ， 如果 word不在 counts中 ， 則返回 0。 ? 該實(shí)例的第三步是對(duì)單詞的統(tǒng)計(jì)值從高到低進(jìn)行排序 ， 輸出前 10個(gè)高頻詞語(yǔ) ，并格式化打印輸出 。 由于字典類(lèi)型沒(méi)有順序 ， 需要將其轉(zhuǎn)換為有順序的列表類(lèi)型， 再使用 sort()方法和 lambda函數(shù)配合實(shí)現(xiàn)根據(jù)單詞次數(shù)對(duì)元素進(jìn)行排序 。 最后輸出排序結(jié)果前 10位的單詞 。 items = list(()) 將字典轉(zhuǎn)換為記錄列表 (key=lambda x:
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號(hào)-1