【正文】 謝謝！ 42 畢業(yè)設(shè)計(jì)（論文）原創(chuàng)性聲明和使用授權(quán)說明 原創(chuàng)性聲明 本人鄭重承諾：所呈交的畢業(yè)設(shè)計(jì)（論文），是我個(gè)人在指導(dǎo)教師的指導(dǎo)下進(jìn)行的研究工作及取得的成果。 作者簽名： 日 期： 43 學(xué)位論文原創(chuàng)性聲明 本人鄭重聲明：所呈交的論文是本人在導(dǎo)師的指導(dǎo)下獨(dú)立進(jìn)行研究所取得的研究成果。 作者簽名： 日期： 年 月 日 學(xué)位論文版權(quán)使用授權(quán)書 本學(xué)位論文作者完全了解學(xué)校有關(guān)保留、使用學(xué)位論文的規(guī)定，同意學(xué)校保留并向國家有關(guān)部門或機(jī)構(gòu)送交論文的復(fù)印件和電子版，允許論文被查閱和借閱。 ：任務(wù)書、開題報(bào)告、。 涉密論文按學(xué)校規(guī)定處理。對本文的研究做出重要貢獻(xiàn)的個(gè)人和集體，均已在文中以明確方式標(biāo)明。對本研究提供過幫助 和做出過貢獻(xiàn)的個(gè)人或集體，均已在文中作了明確的說明并表示了謝意。在老師的指導(dǎo)帶領(lǐng)下，我展開一個(gè)全新的視角思考本系統(tǒng)的設(shè)計(jì)實(shí)現(xiàn)，教會(huì)了我設(shè)計(jì)系統(tǒng)的基本思想與方法。在這一背景下，開發(fā)出針對不同用戶提供個(gè)性化服務(wù)的音樂網(wǎng)站有著廣闊的發(fā)展空間。但由于時(shí)間緊任務(wù)重，測試環(huán)境和實(shí)際運(yùn)行環(huán)境的差異性， 所以還不能準(zhǔn)確找出系統(tǒng)存在的所有問題，還需在后期的維護(hù)過程中不斷完善更新系統(tǒng)。詳細(xì)介紹了當(dāng)前流行的應(yīng)用開發(fā)的技術(shù)，并嘗試分析了各個(gè)關(guān)鍵技術(shù)如網(wǎng)絡(luò)爬蟲、 MySQL、 mvc 等技術(shù)的工作原理。不同的情緒電臺(tái)對應(yīng)著不同風(fēng)格的插圖。初始化過程中，系統(tǒng)將會(huì)爬取用戶個(gè)人數(shù)據(jù)，對這些數(shù)據(jù)進(jìn)行分析處理，對推薦歌曲的推薦度進(jìn)行計(jì)算。 圖 510 賬號注冊 35 授權(quán)界面 本電臺(tái)作為一個(gè)第三方網(wǎng)站，需要獲取用戶在 上的個(gè)人信息。如果用戶輸入了正確的賬號名稱和密碼，則會(huì)跳轉(zhuǎn)到電臺(tái)初始化界面。這三張表分別是用戶信息表（如圖 55）， 用戶收聽記錄表（如圖 56）， 用戶推薦記錄表（如圖 57） 圖 55 用戶信息表 32 圖 56 用戶收聽記錄表 圖 57 用戶推薦記錄表 功能模塊的實(shí)現(xiàn) 根據(jù)前文的設(shè)計(jì)方案，本界面的圖形界面分為登陸界面和歌曲收聽界面兩大板塊。 Rate 屬性可以理解為歌曲的推薦等級，當(dāng)用戶點(diǎn)擊下一曲時(shí)，推薦等級是決定是否播放這首歌 的重要指標(biāo)之一。 類似這些數(shù)據(jù)，在經(jīng)過內(nèi)容分析模塊處理后，轉(zhuǎn)化為類 TrackList，TrackList類中的屬性囊括了通過 API接口獲得的歌曲的各種有效信息例如歌曲風(fēng)格，歌曲作者，歌曲播放次數(shù)，用戶是否收藏過等等一些相關(guān)信息，這些信息 31 將會(huì)為下一步的數(shù)據(jù)分析做好鋪墊。對象的數(shù)據(jù)結(jié)構(gòu)用如下形式表示： {屬性：屬性值，屬性：屬性值，? }其中屬性值可以是數(shù)組、字符串、對象、數(shù)字等。 30 提供的 API 接口會(huì)給開發(fā)者返回一組 json 格式的數(shù)據(jù)。通過上 文的分析和討論，該網(wǎng)絡(luò)爬蟲所做的工作是，通過API 接口爬取相關(guān)歌曲信息，對封裝這些信息的 json 格式數(shù)據(jù)進(jìn)行分析和轉(zhuǎn)換等處理工作，并把處理后的信息儲(chǔ)存到 MySQL 之中。 網(wǎng)絡(luò)爬蟲的需求分析 通過 提供的 API 接口，我們可以從 上獲取大量用戶收聽過的歌曲信息，這些信息是以 json 的格式返回給開發(fā)者的。 Api 接口的提供對于開發(fā)人員和內(nèi)容服務(wù)提供商都是有好處的。由于 api 接口所能帶來的種種好處，現(xiàn)在許多服務(wù)型網(wǎng)站都會(huì)把自己所提供的服務(wù)封裝成 api 接口，供開發(fā)者進(jìn)行使用。因此 API 接口內(nèi)部結(jié)構(gòu)對于程序員來說是一個(gè)黑箱。在 OAuth 風(fēng)靡的當(dāng)下，越來越多的網(wǎng)站服務(wù)商把自己提供的服務(wù)封裝成各種 api接口，這便是 OpenAPI技術(shù)的由來。如下表 43 所示 表 43 用戶推薦記錄表 字段名稱 數(shù)據(jù)類型 說明 User_track_id 數(shù)字 已聽歌曲編號 User_id 文本 用戶 ID Track_uuid 文本 推薦歌曲名稱 Source_type 文本 推薦歌曲類型 source 文本 推薦歌曲來源 26 5 系統(tǒng)介紹 網(wǎng)絡(luò)爬蟲的設(shè)計(jì)與實(shí)現(xiàn) OAuth 協(xié)議 OAuth 被人們視為一個(gè)開放協(xié)議，通過 OAuth 協(xié)議，第三方網(wǎng)站可以訪問用戶在某站點(diǎn)的隱私數(shù)據(jù)，而且不需要獲得用戶密碼。 通過上文的分析，結(jié)合實(shí)際情況，本系統(tǒng)在服務(wù)器端采用 mysql 數(shù)據(jù)庫，設(shè)計(jì)創(chuàng)建以下三張表： 用戶信息表 這張表用來記錄和用戶相關(guān)的一些數(shù)據(jù)，例如 ID，名字，安全碼，注冊時(shí)間，賬戶有效性等。根據(jù)這兩張表中的歌曲標(biāo)簽信息，程序會(huì)通過一定的算法，得到一個(gè)推薦歌曲的播放隊(duì)列。前一段時(shí)間很火的錘子系統(tǒng)，它最為人稱道的一個(gè)特點(diǎn)就是針對市面上的安卓應(yīng)用，盡量為每一個(gè)應(yīng)用設(shè)計(jì)一個(gè)美觀的圖標(biāo)，這使得它的界面與其他系統(tǒng)相比有了很大的提升。 標(biāo)簽設(shè)計(jì) 本電臺(tái)去掉了繁瑣的標(biāo)簽。 軟件按鈕設(shè)計(jì) 軟件的按鈕設(shè)計(jì)借鑒了目前流行的扁平化設(shè)計(jì)。 軟件啟動(dòng)封面設(shè)計(jì) 一個(gè)軟件的啟動(dòng)界面是非常重要的，因?yàn)橛脩舻牡谝挥绊懲蛠碜詥?dòng)界面。不同情緒的電臺(tái)，會(huì)配上相應(yīng)的一些唯美圖像。同一個(gè)界面之中不同模塊與動(dòng)畫過度效果具有一致的設(shè)計(jì)，不會(huì)帶給用戶分裂的感覺。我們需要一個(gè)去偽存真，簡單純凈的地方來休憩心靈。 數(shù)據(jù)庫： MySQL； Redis。所以系統(tǒng)的設(shè)計(jì)應(yīng)該為以后的 維護(hù)提供便利，緊跟先進(jìn)的技術(shù)和理念，不斷對系統(tǒng)進(jìn)行更新?lián)Q代。 穩(wěn)定性：通過代碼的設(shè)計(jì)和系統(tǒng)的測試，來盡量消除系統(tǒng)存在的 bug，增強(qiáng)系統(tǒng)的容錯(cuò)能力，從而提高用戶體驗(yàn)。 情緒電臺(tái)選擇：本電臺(tái)從功能上講是一種情緒電臺(tái)。當(dāng)用戶對當(dāng)前播放的歌曲非常喜歡時(shí)，可以通過點(diǎn)擊右下方的紅心按鈕進(jìn)行收藏。一方面可以為用戶展示出歌曲專輯信息、演唱者信息、播放進(jìn)度、所處情緒電臺(tái)信息，另一方面也可以為用戶帶來視覺上美的享受。大多數(shù)網(wǎng)站只是互相模仿和對國外技術(shù)的照搬，同質(zhì)化趨勢嚴(yán)重，忽視了一些用戶群體的需要。開發(fā)的目的在于能夠提供一些市面上同類產(chǎn)品無法做到或者缺失的用戶功能，即根據(jù)用戶的情緒提供個(gè)性化的歌曲。所以評價(jià)一個(gè)互聯(lián)網(wǎng)產(chǎn)品的標(biāo)準(zhǔn)，最重要的就是它是否滿足了用戶的需求。 19 3 音樂網(wǎng)站概要設(shè)計(jì) 概述 本章主要從需求分析，界面設(shè)計(jì)和核心功能等三個(gè)方面對系統(tǒng)的設(shè)計(jì)進(jìn)行了討論。但是這種搜索策略需要耗費(fèi)一定時(shí)間來訪問到較深層的頁面，而且有很大可能會(huì)遺漏一些比較孤立的信息頁面。深度優(yōu)先搜索策略的優(yōu)點(diǎn)在于，對于深層嵌套的內(nèi)容，可以被盡可能的遍歷。 網(wǎng)絡(luò)爬蟲常見搜索策略 由于工作量巨大，所以全網(wǎng)爬蟲通常會(huì)采用一些爬行策略來 提高效率。但是這樣做會(huì)爬取大量的重復(fù)資源，在時(shí)間和資源上的浪費(fèi)比較大。為了進(jìn)行主題甄別，聚集型網(wǎng)絡(luò)爬蟲增加了兩個(gè)模塊，一個(gè)是鏈 接評價(jià)模塊，另一個(gè)是內(nèi)容評價(jià)模塊?；谡麄€(gè) web 的網(wǎng)絡(luò)爬蟲：簡稱全網(wǎng)爬蟲，是最基本的網(wǎng)絡(luò)爬蟲。 早期的 web 應(yīng)用都是靜態(tài)頁面，沒有動(dòng)態(tài)的顯示效果，也無法動(dòng)態(tài)的與用戶進(jìn)行交互。 Jquery 功能強(qiáng)大，可以簡單的操作 document 對象，制作動(dòng)畫效果，易于進(jìn)行事件處理，其中，特別 16 重要的一點(diǎn)是，它的為 Ajax 功能的使用提供了十分簡單方便的接口，極大的減少了與后臺(tái)交互并局部更新的代碼量。 Html 語言的標(biāo)簽庫并不復(fù)雜，而且簡單易學(xué)，隨著時(shí)代的發(fā)展，它慢慢的由 版本過渡到 版本，其功能性、實(shí)用性得到不斷的加強(qiáng)。此操作就是通過 CSS 樣式定義而不改動(dòng) HTML 代碼來實(shí)現(xiàn)的。 CSS 旨在解決問 題并幫助設(shè)計(jì)者節(jié)省時(shí)間，同時(shí)它還使設(shè)計(jì)人員能夠 以更多的方式設(shè)計(jì)網(wǎng)頁外觀。 Nginx 官方提供的各種功能模塊應(yīng)有盡有，結(jié)合這些模塊可以完整各種各樣的配置要求， 例如： 15 壓縮、防盜鏈、集群、 FastCGI、流媒體服務(wù)器、 Memcached 支持、 URL 重寫等等，更關(guān)鍵的是 Nginx 擁有 Apache 和其他 HTTP 服務(wù)器無法比擬的高性能。 Nginx Nginx 是一個(gè)高性能的 HTTP 和反向代理服務(wù)器，也是一個(gè) IMAP/POP3/SMTP 代理服務(wù)器。這些數(shù)據(jù)類型都支持 push/pop、 add/remove 及取交集并集和差集及更豐富的操作，而且這些操作都是原子性的。 MySQL 提供很多種鏈接方法，其中 JDBC 就是一種很常用的 Java 數(shù)據(jù)庫連接方法，它是一種用于執(zhí)行 SQL 語句的 Java API，可以為多種關(guān)系數(shù)據(jù)庫提供統(tǒng)一訪問，它由一組用 Java 語言 編寫的類和接口組成。 由于自己開發(fā)只是一個(gè)小型的 Web 應(yīng)用，這個(gè)應(yīng)用僅僅涉及了五張數(shù)據(jù)表，所以在開發(fā)的過程中采用了 MySQL 數(shù)據(jù)庫。 MySQL 是一種關(guān)聯(lián)數(shù)據(jù)庫管理系統(tǒng)，關(guān)聯(lián)數(shù)據(jù)庫將數(shù)據(jù)保存在不同的表中，而不是將所有數(shù)據(jù)放在一個(gè)大倉庫內(nèi)，這樣就增加了速度并提高了靈活性。得利于其非阻塞的方式和對 epoll 的運(yùn)用， Tornado 每秒可以處理數(shù)以千計(jì)的連接，這意味著對于實(shí)時(shí) Web 服務(wù)來說， Tornado 是一個(gè)理想的 Web 框架。 tornado Tornado 是一個(gè)開源的網(wǎng)絡(luò)服務(wù)器框架，該平臺(tái)基于社交聚合網(wǎng)站 FriendFeed 的實(shí)時(shí)信息服務(wù)開發(fā)而來。 Json 被用來儲(chǔ)存和交換文本信息，和 xml 有著相似的功能。所以通過 Python 來進(jìn)行程序開發(fā)是一件非常簡單的過程，因?yàn)橛写罅楷F(xiàn)成的代碼可以使用，不需要程序員從頭編寫。而Python 語言在最近的十年 ，一直能夠屹立于 TIOBE 排行榜前十，所以這是一門十分優(yōu)秀的編程語言。 Mysql 數(shù)據(jù)庫的優(yōu)點(diǎn)是體積小，速度快，而且擁有成本極低。因此本系統(tǒng)采用的就是 B/S 結(jié)構(gòu)。 第五章是網(wǎng)絡(luò)爬蟲的設(shè)計(jì)和實(shí)現(xiàn)與網(wǎng)站各模塊的實(shí)現(xiàn)。 第一章緒論，介紹了本文的研究目的和意義，以及國內(nèi)外在此方面的研究現(xiàn)狀，并說明了本文的研究內(nèi)容。在中國已成為世界網(wǎng)民最多國家的今天，數(shù)字音樂在我國有著巨大的發(fā)展空間。 目前，國內(nèi)的音樂網(wǎng)站也如雨后春筍般層出不窮，老牌的音樂網(wǎng)站有酷狗音樂、 音樂等；還有對國外音樂網(wǎng)站的借鑒產(chǎn)品，例如豆瓣 fm、蝦米音樂等；在智能機(jī)日益普及的今天，也涌現(xiàn)出一大批移動(dòng)端的音樂應(yīng)用，例如天天動(dòng)聽，多米音樂等。與傳統(tǒng)播放器不同的是，潘多拉網(wǎng)絡(luò)電臺(tái)沒有音樂播放列表，用戶無法選定下一首歌曲，這樣一來用戶可以專注于音樂本身，從而提供一種連續(xù)的音樂體驗(yàn)。目前在數(shù)字音樂領(lǐng)域，國外占主導(dǎo)地位的有以 iTunes 為代表的音樂搜索與下載模式，以潘多拉網(wǎng)絡(luò)電臺(tái)為代表的歌曲分類與個(gè)性推薦模式，和以 為代表的社交音樂推薦模式。 本音樂電臺(tái)能根據(jù)用戶自己的音樂喜好 ,來推薦相應(yīng)的情緒音樂；音樂電臺(tái)能夠在知曉用戶的音樂口味下，播放用戶曾經(jīng)喜歡的歌曲以及推薦用戶有可能感興趣的歌曲。目前雖然數(shù)字音樂服務(wù)提供商眾多，卻同質(zhì)化現(xiàn)象嚴(yán)重，跟不上部分用戶的需求。之后對網(wǎng)站 系統(tǒng)的一些關(guān)鍵技術(shù)進(jìn)行研究和實(shí)現(xiàn)。該音樂網(wǎng)站采用 B/S 結(jié)構(gòu)進(jìn)行開發(fā)。在這一背景下，在線數(shù)字音樂服務(wù)因?yàn)槠浞奖?、快捷的特點(diǎn)受到大眾的普遍歡迎。盡我所知，除文中已經(jīng)注明引用的內(nèi)容外，本學(xué)位論文的研 究成果不包含他人享有著作權(quán)的內(nèi)容。S DEGREE THESIS OF WUHAN UNIVERSITY Research of the web crawler based on music website By June 2020 3 鄭重聲明 本人呈交的學(xué)位論文，是在導(dǎo)師的指導(dǎo)下，獨(dú)立進(jìn)行研究工作所取得的成果，所有數(shù)據(jù)、圖片資料真實(shí)可靠。 本人簽名： 日期： 4 摘要 隨著社會(huì)的進(jìn)步與電腦的普及，網(wǎng)絡(luò)逐漸取代了傳統(tǒng)的信息平臺(tái)，成為人們迅速獲得和發(fā)布資訊的重要工具。本文力求通過開發(fā)一個(gè)音樂網(wǎng)站，通過數(shù)據(jù)爬取與算法分析，使得人們找到自己喜歡的歌曲不再困難。 本文首先介紹了目前市面上的音樂電臺(tái)存在的問題，并且介紹開發(fā)環(huán)境及開發(fā)者運(yùn)用到的關(guān)鍵技術(shù)。在這一背景