【正文】 謝謝！ 42 畢業(yè)設(shè)計(jì)（論文）原創(chuàng)性聲明和使用授權(quán)說(shuō)明 原創(chuàng)性聲明 本人鄭重承諾：所呈交的畢業(yè)設(shè)計(jì)（論文），是我個(gè)人在指導(dǎo)教師的指導(dǎo)下進(jìn)行的研究工作及取得的成果。 作者簽名： 日 期： 43 學(xué)位論文原創(chuàng)性聲明 本人鄭重聲明：所呈交的論文是本人在導(dǎo)師的指導(dǎo)下獨(dú)立進(jìn)行研究所取得的研究成果。 作者簽名： 日期： 年 月 日 學(xué)位論文版權(quán)使用授權(quán)書(shū) 本學(xué)位論文作者完全了解學(xué)校有關(guān)保留、使用學(xué)位論文的規(guī)定，同意學(xué)校保留并向國(guó)家有關(guān)部門(mén)或機(jī)構(gòu)送交論文的復(fù)印件和電子版，允許論文被查閱和借閱。 ：任務(wù)書(shū)、開(kāi)題報(bào)告、。 涉密論文按學(xué)校規(guī)定處理。對(duì)本文的研究做出重要貢獻(xiàn)的個(gè)人和集體，均已在文中以明確方式標(biāo)明。對(duì)本研究提供過(guò)幫助 和做出過(guò)貢獻(xiàn)的個(gè)人或集體，均已在文中作了明確的說(shuō)明并表示了謝意。在老師的指導(dǎo)帶領(lǐng)下，我展開(kāi)一個(gè)全新的視角思考本系統(tǒng)的設(shè)計(jì)實(shí)現(xiàn)，教會(huì)了我設(shè)計(jì)系統(tǒng)的基本思想與方法。在這一背景下，開(kāi)發(fā)出針對(duì)不同用戶(hù)提供個(gè)性化服務(wù)的音樂(lè)網(wǎng)站有著廣闊的發(fā)展空間。但由于時(shí)間緊任務(wù)重，測(cè)試環(huán)境和實(shí)際運(yùn)行環(huán)境的差異性， 所以還不能準(zhǔn)確找出系統(tǒng)存在的所有問(wèn)題，還需在后期的維護(hù)過(guò)程中不斷完善更新系統(tǒng)。詳細(xì)介紹了當(dāng)前流行的應(yīng)用開(kāi)發(fā)的技術(shù)，并嘗試分析了各個(gè)關(guān)鍵技術(shù)如網(wǎng)絡(luò)爬蟲(chóng)、 MySQL、 mvc 等技術(shù)的工作原理。不同的情緒電臺(tái)對(duì)應(yīng)著不同風(fēng)格的插圖。初始化過(guò)程中，系統(tǒng)將會(huì)爬取用戶(hù)個(gè)人數(shù)據(jù)，對(duì)這些數(shù)據(jù)進(jìn)行分析處理，對(duì)推薦歌曲的推薦度進(jìn)行計(jì)算。 圖 510 賬號(hào)注冊(cè) 35 授權(quán)界面 本電臺(tái)作為一個(gè)第三方網(wǎng)站，需要獲取用戶(hù)在 上的個(gè)人信息。如果用戶(hù)輸入了正確的賬號(hào)名稱(chēng)和密碼，則會(huì)跳轉(zhuǎn)到電臺(tái)初始化界面。這三張表分別是用戶(hù)信息表（如圖 55）， 用戶(hù)收聽(tīng)記錄表（如圖 56）， 用戶(hù)推薦記錄表（如圖 57） 圖 55 用戶(hù)信息表 32 圖 56 用戶(hù)收聽(tīng)記錄表 圖 57 用戶(hù)推薦記錄表 功能模塊的實(shí)現(xiàn) 根據(jù)前文的設(shè)計(jì)方案，本界面的圖形界面分為登陸界面和歌曲收聽(tīng)界面兩大板塊。 Rate 屬性可以理解為歌曲的推薦等級(jí)，當(dāng)用戶(hù)點(diǎn)擊下一曲時(shí)，推薦等級(jí)是決定是否播放這首歌 的重要指標(biāo)之一。 類(lèi)似這些數(shù)據(jù)，在經(jīng)過(guò)內(nèi)容分析模塊處理后，轉(zhuǎn)化為類(lèi) TrackList，TrackList類(lèi)中的屬性囊括了通過(guò) API接口獲得的歌曲的各種有效信息例如歌曲風(fēng)格，歌曲作者，歌曲播放次數(shù)，用戶(hù)是否收藏過(guò)等等一些相關(guān)信息，這些信息 31 將會(huì)為下一步的數(shù)據(jù)分析做好鋪墊。對(duì)象的數(shù)據(jù)結(jié)構(gòu)用如下形式表示： {屬性：屬性值，屬性：屬性值，? }其中屬性值可以是數(shù)組、字符串、對(duì)象、數(shù)字等。 30 提供的 API 接口會(huì)給開(kāi)發(fā)者返回一組 json 格式的數(shù)據(jù)。通過(guò)上 文的分析和討論，該網(wǎng)絡(luò)爬蟲(chóng)所做的工作是，通過(guò)API 接口爬取相關(guān)歌曲信息，對(duì)封裝這些信息的 json 格式數(shù)據(jù)進(jìn)行分析和轉(zhuǎn)換等處理工作，并把處理后的信息儲(chǔ)存到 MySQL 之中。 網(wǎng)絡(luò)爬蟲(chóng)的需求分析 通過(guò) 提供的 API 接口，我們可以從 上獲取大量用戶(hù)收聽(tīng)過(guò)的歌曲信息，這些信息是以 json 的格式返回給開(kāi)發(fā)者的。 Api 接口的提供對(duì)于開(kāi)發(fā)人員和內(nèi)容服務(wù)提供商都是有好處的。由于 api 接口所能帶來(lái)的種種好處，現(xiàn)在許多服務(wù)型網(wǎng)站都會(huì)把自己所提供的服務(wù)封裝成 api 接口，供開(kāi)發(fā)者進(jìn)行使用。因此 API 接口內(nèi)部結(jié)構(gòu)對(duì)于程序員來(lái)說(shuō)是一個(gè)黑箱。在 OAuth 風(fēng)靡的當(dāng)下，越來(lái)越多的網(wǎng)站服務(wù)商把自己提供的服務(wù)封裝成各種 api接口，這便是 OpenAPI技術(shù)的由來(lái)。如下表 43 所示 表 43 用戶(hù)推薦記錄表 字段名稱(chēng) 數(shù)據(jù)類(lèi)型 說(shuō)明 User_track_id 數(shù)字 已聽(tīng)歌曲編號(hào) User_id 文本 用戶(hù) ID Track_uuid 文本 推薦歌曲名稱(chēng) Source_type 文本 推薦歌曲類(lèi)型 source 文本 推薦歌曲來(lái)源 26 5 系統(tǒng)介紹 網(wǎng)絡(luò)爬蟲(chóng)的設(shè)計(jì)與實(shí)現(xiàn) OAuth 協(xié)議 OAuth 被人們視為一個(gè)開(kāi)放協(xié)議，通過(guò) OAuth 協(xié)議，第三方網(wǎng)站可以訪(fǎng)問(wèn)用戶(hù)在某站點(diǎn)的隱私數(shù)據(jù)，而且不需要獲得用戶(hù)密碼。 通過(guò)上文的分析，結(jié)合實(shí)際情況，本系統(tǒng)在服務(wù)器端采用 mysql 數(shù)據(jù)庫(kù)，設(shè)計(jì)創(chuàng)建以下三張表： 用戶(hù)信息表 這張表用來(lái)記錄和用戶(hù)相關(guān)的一些數(shù)據(jù)，例如 ID，名字，安全碼，注冊(cè)時(shí)間，賬戶(hù)有效性等。根據(jù)這兩張表中的歌曲標(biāo)簽信息，程序會(huì)通過(guò)一定的算法，得到一個(gè)推薦歌曲的播放隊(duì)列。前一段時(shí)間很火的錘子系統(tǒng)，它最為人稱(chēng)道的一個(gè)特點(diǎn)就是針對(duì)市面上的安卓應(yīng)用，盡量為每一個(gè)應(yīng)用設(shè)計(jì)一個(gè)美觀的圖標(biāo)，這使得它的界面與其他系統(tǒng)相比有了很大的提升。 標(biāo)簽設(shè)計(jì) 本電臺(tái)去掉了繁瑣的標(biāo)簽。 軟件按鈕設(shè)計(jì) 軟件的按鈕設(shè)計(jì)借鑒了目前流行的扁平化設(shè)計(jì)。 軟件啟動(dòng)封面設(shè)計(jì) 一個(gè)軟件的啟動(dòng)界面是非常重要的，因?yàn)橛脩?hù)的第一影響往往就來(lái)自啟動(dòng)界面。不同情緒的電臺(tái)，會(huì)配上相應(yīng)的一些唯美圖像。同一個(gè)界面之中不同模塊與動(dòng)畫(huà)過(guò)度效果具有一致的設(shè)計(jì)，不會(huì)帶給用戶(hù)分裂的感覺(jué)。我們需要一個(gè)去偽存真，簡(jiǎn)單純凈的地方來(lái)休憩心靈。 數(shù)據(jù)庫(kù)： MySQL； Redis。所以系統(tǒng)的設(shè)計(jì)應(yīng)該為以后的 維護(hù)提供便利，緊跟先進(jìn)的技術(shù)和理念，不斷對(duì)系統(tǒng)進(jìn)行更新?lián)Q代。 穩(wěn)定性：通過(guò)代碼的設(shè)計(jì)和系統(tǒng)的測(cè)試，來(lái)盡量消除系統(tǒng)存在的 bug，增強(qiáng)系統(tǒng)的容錯(cuò)能力，從而提高用戶(hù)體驗(yàn)。 情緒電臺(tái)選擇：本電臺(tái)從功能上講是一種情緒電臺(tái)。當(dāng)用戶(hù)對(duì)當(dāng)前播放的歌曲非常喜歡時(shí)，可以通過(guò)點(diǎn)擊右下方的紅心按鈕進(jìn)行收藏。一方面可以為用戶(hù)展示出歌曲專(zhuān)輯信息、演唱者信息、播放進(jìn)度、所處情緒電臺(tái)信息，另一方面也可以為用戶(hù)帶來(lái)視覺(jué)上美的享受。大多數(shù)網(wǎng)站只是互相模仿和對(duì)國(guó)外技術(shù)的照搬，同質(zhì)化趨勢(shì)嚴(yán)重，忽視了一些用戶(hù)群體的需要。開(kāi)發(fā)的目的在于能夠提供一些市面上同類(lèi)產(chǎn)品無(wú)法做到或者缺失的用戶(hù)功能，即根據(jù)用戶(hù)的情緒提供個(gè)性化的歌曲。所以評(píng)價(jià)一個(gè)互聯(lián)網(wǎng)產(chǎn)品的標(biāo)準(zhǔn)，最重要的就是它是否滿(mǎn)足了用戶(hù)的需求。 19 3 音樂(lè)網(wǎng)站概要設(shè)計(jì) 概述 本章主要從需求分析，界面設(shè)計(jì)和核心功能等三個(gè)方面對(duì)系統(tǒng)的設(shè)計(jì)進(jìn)行了討論。但是這種搜索策略需要耗費(fèi)一定時(shí)間來(lái)訪(fǎng)問(wèn)到較深層的頁(yè)面，而且有很大可能會(huì)遺漏一些比較孤立的信息頁(yè)面。深度優(yōu)先搜索策略的優(yōu)點(diǎn)在于，對(duì)于深層嵌套的內(nèi)容，可以被盡可能的遍歷。 網(wǎng)絡(luò)爬蟲(chóng)常見(jiàn)搜索策略 由于工作量巨大，所以全網(wǎng)爬蟲(chóng)通常會(huì)采用一些爬行策略來(lái) 提高效率。但是這樣做會(huì)爬取大量的重復(fù)資源，在時(shí)間和資源上的浪費(fèi)比較大。為了進(jìn)行主題甄別，聚集型網(wǎng)絡(luò)爬蟲(chóng)增加了兩個(gè)模塊，一個(gè)是鏈 接評(píng)價(jià)模塊，另一個(gè)是內(nèi)容評(píng)價(jià)模塊?；谡麄€(gè) web 的網(wǎng)絡(luò)爬蟲(chóng)：簡(jiǎn)稱(chēng)全網(wǎng)爬蟲(chóng)，是最基本的網(wǎng)絡(luò)爬蟲(chóng)。 早期的 web 應(yīng)用都是靜態(tài)頁(yè)面，沒(méi)有動(dòng)態(tài)的顯示效果，也無(wú)法動(dòng)態(tài)的與用戶(hù)進(jìn)行交互。 Jquery 功能強(qiáng)大，可以簡(jiǎn)單的操作 document 對(duì)象，制作動(dòng)畫(huà)效果，易于進(jìn)行事件處理，其中，特別 16 重要的一點(diǎn)是，它的為 Ajax 功能的使用提供了十分簡(jiǎn)單方便的接口，極大的減少了與后臺(tái)交互并局部更新的代碼量。 Html 語(yǔ)言的標(biāo)簽庫(kù)并不復(fù)雜，而且簡(jiǎn)單易學(xué)，隨著時(shí)代的發(fā)展，它慢慢的由 版本過(guò)渡到 版本，其功能性、實(shí)用性得到不斷的加強(qiáng)。此操作就是通過(guò) CSS 樣式定義而不改動(dòng) HTML 代碼來(lái)實(shí)現(xiàn)的。 CSS 旨在解決問(wèn) 題并幫助設(shè)計(jì)者節(jié)省時(shí)間，同時(shí)它還使設(shè)計(jì)人員能夠 以更多的方式設(shè)計(jì)網(wǎng)頁(yè)外觀。 Nginx 官方提供的各種功能模塊應(yīng)有盡有，結(jié)合這些模塊可以完整各種各樣的配置要求， 例如： 15 壓縮、防盜鏈、集群、 FastCGI、流媒體服務(wù)器、 Memcached 支持、 URL 重寫(xiě)等等，更關(guān)鍵的是 Nginx 擁有 Apache 和其他 HTTP 服務(wù)器無(wú)法比擬的高性能。 Nginx Nginx 是一個(gè)高性能的 HTTP 和反向代理服務(wù)器，也是一個(gè) IMAP/POP3/SMTP 代理服務(wù)器。這些數(shù)據(jù)類(lèi)型都支持 push/pop、 add/remove 及取交集并集和差集及更豐富的操作，而且這些操作都是原子性的。 MySQL 提供很多種鏈接方法，其中 JDBC 就是一種很常用的 Java 數(shù)據(jù)庫(kù)連接方法，它是一種用于執(zhí)行 SQL 語(yǔ)句的 Java API，可以為多種關(guān)系數(shù)據(jù)庫(kù)提供統(tǒng)一訪(fǎng)問(wèn)，它由一組用 Java 語(yǔ)言 編寫(xiě)的類(lèi)和接口組成。 由于自己開(kāi)發(fā)只是一個(gè)小型的 Web 應(yīng)用，這個(gè)應(yīng)用僅僅涉及了五張數(shù)據(jù)表，所以在開(kāi)發(fā)的過(guò)程中采用了 MySQL 數(shù)據(jù)庫(kù)。 MySQL 是一種關(guān)聯(lián)數(shù)據(jù)庫(kù)管理系統(tǒng)，關(guān)聯(lián)數(shù)據(jù)庫(kù)將數(shù)據(jù)保存在不同的表中，而不是將所有數(shù)據(jù)放在一個(gè)大倉(cāng)庫(kù)內(nèi)，這樣就增加了速度并提高了靈活性。得利于其非阻塞的方式和對(duì) epoll 的運(yùn)用， Tornado 每秒可以處理數(shù)以千計(jì)的連接，這意味著對(duì)于實(shí)時(shí) Web 服務(wù)來(lái)說(shuō)， Tornado 是一個(gè)理想的 Web 框架。 tornado Tornado 是一個(gè)開(kāi)源的網(wǎng)絡(luò)服務(wù)器框架，該平臺(tái)基于社交聚合網(wǎng)站 FriendFeed 的實(shí)時(shí)信息服務(wù)開(kāi)發(fā)而來(lái)。 Json 被用來(lái)儲(chǔ)存和交換文本信息，和 xml 有著相似的功能。所以通過(guò) Python 來(lái)進(jìn)行程序開(kāi)發(fā)是一件非常簡(jiǎn)單的過(guò)程，因?yàn)橛写罅楷F(xiàn)成的代碼可以使用，不需要程序員從頭編寫(xiě)。而Python 語(yǔ)言在最近的十年 ，一直能夠屹立于 TIOBE 排行榜前十，所以這是一門(mén)十分優(yōu)秀的編程語(yǔ)言。 Mysql 數(shù)據(jù)庫(kù)的優(yōu)點(diǎn)是體積小，速度快，而且擁有成本極低。因此本系統(tǒng)采用的就是 B/S 結(jié)構(gòu)。 第五章是網(wǎng)絡(luò)爬蟲(chóng)的設(shè)計(jì)和實(shí)現(xiàn)與網(wǎng)站各模塊的實(shí)現(xiàn)。 第一章緒論，介紹了本文的研究目的和意義，以及國(guó)內(nèi)外在此方面的研究現(xiàn)狀，并說(shuō)明了本文的研究?jī)?nèi)容。在中國(guó)已成為世界網(wǎng)民最多國(guó)家的今天，數(shù)字音樂(lè)在我國(guó)有著巨大的發(fā)展空間。 目前，國(guó)內(nèi)的音樂(lè)網(wǎng)站也如雨后春筍般層出不窮，老牌的音樂(lè)網(wǎng)站有酷狗音樂(lè)、 音樂(lè)等；還有對(duì)國(guó)外音樂(lè)網(wǎng)站的借鑒產(chǎn)品，例如豆瓣 fm、蝦米音樂(lè)等；在智能機(jī)日益普及的今天，也涌現(xiàn)出一大批移動(dòng)端的音樂(lè)應(yīng)用，例如天天動(dòng)聽(tīng)，多米音樂(lè)等。與傳統(tǒng)播放器不同的是，潘多拉網(wǎng)絡(luò)電臺(tái)沒(méi)有音樂(lè)播放列表，用戶(hù)無(wú)法選定下一首歌曲，這樣一來(lái)用戶(hù)可以專(zhuān)注于音樂(lè)本身，從而提供一種連續(xù)的音樂(lè)體驗(yàn)。目前在數(shù)字音樂(lè)領(lǐng)域，國(guó)外占主導(dǎo)地位的有以 iTunes 為代表的音樂(lè)搜索與下載模式，以潘多拉網(wǎng)絡(luò)電臺(tái)為代表的歌曲分類(lèi)與個(gè)性推薦模式，和以 為代表的社交音樂(lè)推薦模式。 本音樂(lè)電臺(tái)能根據(jù)用戶(hù)自己的音樂(lè)喜好 ,來(lái)推薦相應(yīng)的情緒音樂(lè)；音樂(lè)電臺(tái)能夠在知曉用戶(hù)的音樂(lè)口味下，播放用戶(hù)曾經(jīng)喜歡的歌曲以及推薦用戶(hù)有可能感興趣的歌曲。目前雖然數(shù)字音樂(lè)服務(wù)提供商眾多，卻同質(zhì)化現(xiàn)象嚴(yán)重，跟不上部分用戶(hù)的需求。之后對(duì)網(wǎng)站 系統(tǒng)的一些關(guān)鍵技術(shù)進(jìn)行研究和實(shí)現(xiàn)。該音樂(lè)網(wǎng)站采用 B/S 結(jié)構(gòu)進(jìn)行開(kāi)發(fā)。在這一背景下，在線(xiàn)數(shù)字音樂(lè)服務(wù)因?yàn)槠浞奖?、快捷的特點(diǎn)受到大眾的普遍歡迎。盡我所知，除文中已經(jīng)注明引用的內(nèi)容外，本學(xué)位論文的研 究成果不包含他人享有著作權(quán)的內(nèi)容。S DEGREE THESIS OF WUHAN UNIVERSITY Research of the web crawler based on music website By June 2020 3 鄭重聲明 本人呈交的學(xué)位論文，是在導(dǎo)師的指導(dǎo)下，獨(dú)立進(jìn)行研究工作所取得的成果，所有數(shù)據(jù)、圖片資料真實(shí)可靠。 本人簽名： 日期： 4 摘要 隨著社會(huì)的進(jìn)步與電腦的普及，網(wǎng)絡(luò)逐漸取代了傳統(tǒng)的信息平臺(tái)，成為人們迅速獲得和發(fā)布資訊的重要工具。本文力求通過(guò)開(kāi)發(fā)一個(gè)音樂(lè)網(wǎng)站，通過(guò)數(shù)據(jù)爬取與算法分析，使得人們找到自己喜歡的歌曲不再困難。 本文首先介紹了目前市面上的音樂(lè)電臺(tái)存在的問(wèn)題，并且介紹開(kāi)發(fā)環(huán)境及開(kāi)發(fā)者運(yùn)用到的關(guān)鍵技術(shù)。在這一背景