【正文】 界面設(shè)計、特點和主要功能。電臺初始化界面如圖 512所示 36 電臺初始化界面 512 音樂播放界面 經(jīng)過前面一系列 的操作之后，最終來到本電臺最主要的音樂播放界面。用戶需要輸入用戶名、電子郵箱地址并設(shè)置自己的密碼。在我們完成對歌曲信息的爬取，對歌曲信息的分析，對歌曲信息的過濾處理和分類后，需要將這些數(shù)據(jù)經(jīng)過一定的操作，轉(zhuǎn)化為 MySQL 數(shù)據(jù)庫中的條目，以便程序?qū)Ω枨畔⑦M行檢索或者挖掘其中的數(shù)據(jù)。通過這兩種結(jié)構(gòu)的嵌套使用，我們可以構(gòu)造和表示許多復(fù)雜的數(shù)據(jù)類型。這些功能模塊組成如圖 53所示 圖 53 功能模塊關(guān)系 Inter HTTP API 接口 數(shù)據(jù)分析模塊 數(shù)據(jù)爬取模塊 數(shù)據(jù)儲存模塊 數(shù)據(jù)處理模塊 29 網(wǎng)絡(luò)爬蟲的結(jié)構(gòu)與實現(xiàn) 數(shù)據(jù)爬取模塊 該模塊的功能是用于向特定的 上的 API 接口發(fā)送請求，并得到返回的數(shù)據(jù)。同時，它也有效地減少了服務(wù)器的負擔(dān)，簡化了 28 查詢的流程。這樣一來，可以大大削減編程的工作量，而且也能夠使得編寫無用程序的幾率大大降低。 OAuth 協(xié)議目前有兩版，相對于舊的版本而言，新的 OAuth 協(xié)議（即 OAuth )對于開發(fā)者而言更為易用。當(dāng)切換次數(shù)達到一定的閾值后，程序?qū)淖兺扑]歌曲的風(fēng)格，更新歌曲的播放隊列。 圖標設(shè)計 對于一個互聯(lián)網(wǎng)產(chǎn)品 來說，圖標的設(shè)計是非常重要的。位于界面中部偏上是本電臺的圖標，中下部是一枚精致的開啟電臺的按鈕。在主要播放界面，絕大部分面積分配給電臺圖像展示模塊。 設(shè)計風(fēng)格 簡約：極簡的設(shè)計風(fēng)格是一種趨勢。 可維護性：軟件開發(fā)不是一件一勞永逸的事。使用本電臺，需要從該模塊登陸 。據(jù)此我們開發(fā)出的電臺主要劃分為以下幾個功能模塊：情緒電臺切換，歌曲播放控制，歌曲收藏，音樂展示以及用戶管理 。在需求 分析階段，我們需要進行大量的調(diào)研，編寫許多的功能需求文檔，對其可行性做出評估，確立產(chǎn)品需要實現(xiàn)的功能，為后續(xù)的開發(fā)工作打下穩(wěn)定的基石。并且忽略文檔文件中指向其他站點的鏈接地址。從初始的頁面開始，進行深度優(yōu)先的搜索，不斷訪問下一級鏈接，直到不能繼續(xù)深入為止。聚焦爬蟲爬行策略實現(xiàn)的關(guān)鍵是評價頁面內(nèi)容和鏈接的重要性，不同的方法計算出的重要性不同，由此導(dǎo)致鏈接的訪問順序也不同；增量式網(wǎng)絡(luò)爬蟲：爬取的是新增的和發(fā)生變化的頁面數(shù)據(jù)。然而， MVC 框架并不總是好的，對于開發(fā)大型項目來說，自然采用 MVC 框架能夠極大的提高工作效率，降低后期維護的成本，但是對于一些小型的 Web 項目來說，本身功能比較簡單，若采用MVC框架，則會將一些簡單的代碼分割成復(fù)雜的三層，既增加了代碼的復(fù)雜度，也降低了代碼編寫的效率，并且小型 web 項目的維護也不像大型項目那么頻繁，所以， Model 1 模式在小型項目中也是有用 武之地的。 Jquery 是一個十分優(yōu)秀的輕量級 javascript 庫，所謂 javascript 庫，就是說它是基于 javascript 語言開發(fā)的，內(nèi)部實現(xiàn)了許多重要、常用的功能的方法的一個集合。舉一個典型的示例：某些網(wǎng)頁以特定的方式突出顯示其鏈接。其將源代碼以類 BSD 許可證的形式發(fā)布，因它的穩(wěn)定性、豐富的功能集、示例配置文件和低系統(tǒng)資源的消耗而聞名。 Redis Redis 是一個 keyvalue 存儲系統(tǒng)。 MySQL 軟件采用了雙授權(quán) 政策，它分為社區(qū)版和商業(yè)版，由于其體積小、速度快、總體擁有成本低，尤其是開放源碼這一特點，一般中小型網(wǎng)站的開發(fā)都選擇 MySQL 作為網(wǎng)站的數(shù)據(jù)庫。這個 Web 框架看起來有些像 或者 Google 的 webapp，不過為了能有效利用非阻塞式服務(wù)器環(huán)境，這 13 個 Web 框架還包含了一些相關(guān)的有用工具和優(yōu)化。有很多類型的應(yīng)用都適合用 python 進行開發(fā)，比如一些網(wǎng)絡(luò)應(yīng)用，腳本任務(wù)等等。 12 2 技術(shù)支持 python 編程技術(shù) 在 1989 年圣誕節(jié)期間 ,著名的 Guido van Rossum 在圣誕節(jié)期間沒有事情可做，為了打發(fā)時間，他編寫了一門編程語言，這就是 python。 其中 B/S結(jié)構(gòu)就是瀏覽器 /服務(wù)器結(jié)構(gòu)，傳統(tǒng)的客戶端 /服務(wù)器結(jié)構(gòu)（ C/S）有著客戶端負擔(dān)重 的缺點，采用 B/S 架構(gòu)的應(yīng)用，客戶端只需要有瀏覽器即可，極大的減少了客戶端的負荷。 論文主攻方向 本論文所研究的主要內(nèi)容是設(shè)計能夠為用戶提供個性化歌曲的音樂電臺，對電臺界面進行設(shè)計，開發(fā)針對 個人網(wǎng)站的網(wǎng)絡(luò)爬蟲，并提高網(wǎng)絡(luò)爬蟲的性能。潘多拉網(wǎng) 絡(luò)電臺中每首音樂都有對應(yīng)的風(fēng)格、情緒等一系列屬性，電臺通過這些屬性來推薦可能符合用戶口味的歌曲。本電臺通過 api 爬取用戶在 上大量的收聽記錄，對用戶的音樂口味更為準確，且?guī)缀鯚o需花費時間來學(xué)習(xí)用戶口味；用戶可以選擇相應(yīng)的情緒電臺 . 在歐美社會，數(shù)字音樂已經(jīng)發(fā)展地相當(dāng)成熟。B/S structure 6 目錄 1 緒論 .............................................. 9 論文的選題的目的和意義 ....................................... 9 國內(nèi)外關(guān)于該論題的研究現(xiàn) 狀和發(fā)展趨勢 ......................... 9 論文主攻方向 ............................................... 10 論文的主要內(nèi)容 ............................................. 11 論文的研究方法和技術(shù)路線 ................................... 11 2 技術(shù) 支持 ......................................... 12 python 編程技術(shù) ............................................. 12 json 可拓展標記語言 ......................................... 12 tornado .................................................... 12 MySQL ...................................................... 13 Redis ...................................................... 14 Nginx ...................................................... 14 前端技術(shù) .................................................... 15 MVC 設(shè)計模式 ................................................ 16 網(wǎng)絡(luò)爬蟲 ................................................... 16 網(wǎng)絡(luò)爬蟲的分類 ......................................... 16 網(wǎng)絡(luò)爬蟲常見搜索策略 ................................... 17 3 音樂網(wǎng)站概要設(shè)計 .................................. 19 概述 ....................................................... 19 需求分析 .................................................... 19 面向人群 ............................................... 19 功能性需求 ............................................. 19 需求功能劃分 ....................................... 19 功能描述 ........................................... 20 性能需求 ............................................... 20 運行環(huán)境需求 ............................................ 21 7 界面設(shè)計 ................................................... 21 技術(shù)手段 ............................................... 21 設(shè)計風(fēng)格 ............................................... 21 界面設(shè)計方案 ........................................... 22 界面框架設(shè)計 ....................................... 22 啟動封面設(shè)計 ....................................... 22 按鈕設(shè)計 ........................................... 22 標簽設(shè)計 ........................................... 22 圖標設(shè)計 ........................................... 22 核心功能 .................................................... 23 數(shù)據(jù)爬取功能 ........................................... 23 歌曲推薦功能 ........................................... 23 4 數(shù)據(jù)庫設(shè)計 ....................................... 24 用戶信息表 ................................................. 24 用戶收聽記錄表 ............................................. 24 用戶推薦記錄 表 ............................................. 25 5 系統(tǒng)介紹 ......................................... 26 網(wǎng)絡(luò)爬蟲的設(shè)計與實現(xiàn) ....................................... 26 OAuth 協(xié)議 ......................................... 26 所提供的 api 接口 ............................... 27 網(wǎng)絡(luò)爬蟲的需求分析 ..................................... 28 網(wǎng)絡(luò)爬蟲的結(jié)構(gòu)與實現(xiàn) ................................... 29 數(shù)據(jù)爬取模塊 ....................................... 29 內(nèi)容分析模塊 ....................................... 29 數(shù)據(jù)處理模塊 ....................................... 31 數(shù)據(jù)存儲模塊 ....................................... 31 功能模塊的實現(xiàn) ............................................. 32 歡迎界面 ............................................... 32 登陸界面 ............................................... 33 8 注冊界面 ............................................... 34 授權(quán)界面 ............................................... 35