sewm20xx中文網(wǎng)頁分類系統(tǒng)說明-在線瀏覽
2024-12-02 20:07本頁面
【正文】 得到兩個網(wǎng)頁文檔集合：11類別訓練集和待分類網(wǎng)頁集，對網(wǎng)頁進行凈化主要包括以下幾部分： （ 1）根據(jù)網(wǎng)頁中超鏈接在某一塊中的出現(xiàn)比率去除網(wǎng)頁導航條信息； （ 2）利用關鍵詞構(gòu)造正則表達式來去除廣告欄信息和版權(quán)信息； （ 3）去掉無用的 HTML語法標簽信息。 ? 元數(shù)據(jù)抽取模塊 ? 抽取網(wǎng)頁標題（ titile）、關鍵詞（ keywords）和網(wǎng)頁描述（ description）等元數(shù)據(jù)；基于 JTidy去除 Html標簽和抽取網(wǎng)頁的主體文本（ body）內(nèi)容。 ?去除停用詞 ? 根據(jù)實詞詞典和停用詞詞典，去除虛詞和停用詞，超高頻詞與超低頻詞在文本表示模塊中去除。每一條規(guī)則由名詞或名詞短語構(gòu)成； ? 析取規(guī)則包括 DF和 IG； ? 利用
教學課件相關推薦
鄂ICP備17016276號-1