【正文】 ：任務(wù)書、開題報告、。 涉密論文按學校規(guī)定處理。 作者簽名： 日期： 年 月 日 學位論文版權(quán)使用授權(quán)書 本學位論文作者完全了解學校有關(guān)保留、使用學位論文的規(guī)定，同意學校保留并向國家有關(guān)部門或機構(gòu)送交論文的復印件和電子版，允許論文被查閱和借閱。對本文的研究做出重要貢獻的個人和集體，均已在文中以明確方式標明。 作者簽名： 日 期： 43 學位論文原創(chuàng)性聲明 本人鄭重聲明：所呈交的論文是本人在導師的指導下獨立進行研究所取得的研究成果。對本研究提供過幫助 和做出過貢獻的個人或集體，均已在文中作了明確的說明并表示了謝意。 謝謝！ 42 畢業(yè)設(shè)計（論文）原創(chuàng)性聲明和使用授權(quán)說明 原創(chuàng)性聲明 本人鄭重承諾：所呈交的畢業(yè)設(shè)計（論文），是我個人在指導教師的指導下進行的研究工作及取得的成果。在老師的指導帶領(lǐng)下，我展開一個全新的視角思考本系統(tǒng)的設(shè)計實現(xiàn)，教會了我設(shè)計系統(tǒng)的基本思想與方法。從一開始的立項、選題、畢業(yè)設(shè)計的思想、系統(tǒng)設(shè)計、理論的形成以及最終的定稿，都和老師的辛勤指導分不開。在這一背景下，開發(fā)出針對不同用戶提供個性化服務(wù)的音樂網(wǎng)站有著廣闊的發(fā)展空間。 展望 隨著社會的進步與電腦的普及，互聯(lián)網(wǎng)成為人們快速獲取、發(fā)布和傳遞信息的重要媒介。但由于時間緊任務(wù)重，測試環(huán)境和實際運行環(huán)境的差異性， 所以還不能準確找出系統(tǒng)存在的所有問題，還需在后期的維護過程中不斷完善更新系統(tǒng)。本論文主要側(cè)重于對網(wǎng)絡(luò)爬蟲相關(guān)技術(shù)的研究與實現(xiàn)，并簡要介紹了音樂電臺的界面設(shè)計、特點和主要功能。詳細介紹了當前流行的應用開發(fā)的技術(shù)，并嘗試分析了各個關(guān)鍵技術(shù)如網(wǎng)絡(luò)爬蟲、 MySQL、 mvc 等技術(shù)的工作原理。值 37 得注意的是，播放控制中的隨機播放按鈕只是一種偽隨機：點擊隨機播放按鈕后，上下兩首歌曲的情緒風格將會有比較大的變化，而在正常播放模式下上下兩首歌曲的情緒風格是相近的，只是會按照一定的算法漸變。不同的情緒電臺對應著不同風格的插圖。電臺初始化界面如圖 512所示 36 電臺初始化界面 512 音樂播放界面 經(jīng)過前面一系列 的操作之后，最終來到本電臺最主要的音樂播放界面。初始化過程中，系統(tǒng)將會爬取用戶個人數(shù)據(jù)，對這些數(shù)據(jù)進行分析處理，對推薦歌曲的推薦度進行計算。只有在用戶同意以后，本電臺才能訪問用戶的個人數(shù)據(jù)，爬取用戶的歌曲收聽記錄，從而對用戶提供個性化的歌曲推薦服務(wù)。 圖 510 賬號注冊 35 授權(quán)界面 本電臺作為一個第三方網(wǎng)站，需要獲取用戶在 上的個人信息。用戶需要輸入用戶名、電子郵箱地址并設(shè)置自己的密碼。如果用戶輸入了正確的賬號名稱和密碼，則會跳轉(zhuǎn)到電臺初始化界面。按下開啟電臺的按鈕后會跳轉(zhuǎn)到 的登陸界面，提供登 陸功能。這三張表分別是用戶信息表（如圖 55）， 用戶收聽記錄表（如圖 56）， 用戶推薦記錄表（如圖 57） 圖 55 用戶信息表 32 圖 56 用戶收聽記錄表 圖 57 用戶推薦記錄表 功能模塊的實現(xiàn) 根據(jù)前文的設(shè)計方案，本界面的圖形界面分為登陸界面和歌曲收聽界面兩大板塊。在我們完成對歌曲信息的爬取，對歌曲信息的分析，對歌曲信息的過濾處理和分類后，需要將這些數(shù)據(jù)經(jīng)過一定的操作，轉(zhuǎn)化為 MySQL 數(shù)據(jù)庫中的條目，以便程序?qū)Ω枨畔⑦M行檢索或者挖掘其中的數(shù)據(jù)。 Rate 屬性可以理解為歌曲的推薦等級，當用戶點擊下一曲時，推薦等級是決定是否播放這首歌 的重要指標之一。通過這個模塊，我們可以過濾掉通過 API 爬取的歌曲的許多無關(guān)信息，把歌曲信息以一個適合推薦算法工作的形式整理歸類。 類似這些數(shù)據(jù)，在經(jīng)過內(nèi)容分析模塊處理后，轉(zhuǎn)化為類 TrackList，TrackList類中的屬性囊括了通過 API接口獲得的歌曲的各種有效信息例如歌曲風格，歌曲作者，歌曲播放次數(shù)，用戶是否收藏過等等一些相關(guān)信息，這些信息 31 將會為下一步的數(shù)據(jù)分析做好鋪墊。通過這兩種結(jié)構(gòu)的嵌套使用，我們可以構(gòu)造和表示許多復雜的數(shù)據(jù)類型。對象的數(shù)據(jù)結(jié)構(gòu)用如下形式表示： {屬性：屬性值，屬性：屬性值，? }其中屬性值可以是數(shù)組、字符串、對象、數(shù)字等。通過數(shù)組和對象，我們可以構(gòu)建出非常復雜的數(shù)據(jù)結(jié)構(gòu)。 30 提供的 API 接口會給開發(fā)者返回一組 json 格式的數(shù)據(jù)。這些功能模塊組成如圖 53所示 圖 53 功能模塊關(guān)系 Inter HTTP API 接口 數(shù)據(jù)分析模塊 數(shù)據(jù)爬取模塊 數(shù)據(jù)儲存模塊 數(shù)據(jù)處理模塊 29 網(wǎng)絡(luò)爬蟲的結(jié)構(gòu)與實現(xiàn) 數(shù)據(jù)爬取模塊 該模塊的功能是用于向特定的 上的 API 接口發(fā)送請求，并得到返回的數(shù)據(jù)。通過上 文的分析和討論，該網(wǎng)絡(luò)爬蟲所做的工作是，通過API 接口爬取相關(guān)歌曲信息，對封裝這些信息的 json 格式數(shù)據(jù)進行分析和轉(zhuǎn)換等處理工作，并把處理后的信息儲存到 MySQL 之中。然后根據(jù)數(shù)據(jù)庫中歌曲的相關(guān)信息，設(shè)計一套歌曲推薦算法，從而實現(xiàn)本電臺的核心功能，即為用戶推薦他可能會喜歡的歌曲。 網(wǎng)絡(luò)爬蟲的需求分析 通過 提供的 API 接口，我們可以從 上獲取大量用戶收聽過的歌曲信息，這些信息是以 json 的格式返回給開發(fā)者的。同時，它也有效地減少了服務(wù)器的負擔，簡化了 28 查詢的流程。 Api 接口的提供對于開發(fā)人員和內(nèi)容服務(wù)提供商都是有好處的。本文筆者所使用的是 提供的 api接口。由于 api 接口所能帶來的種種好處，現(xiàn)在許多服務(wù)型網(wǎng)站都會把自己所提供的服務(wù)封裝成 api 接口，供開發(fā)者進行使用。這樣一來，可以大大削減編程的工作量，而且也能夠使得編寫無用程序的幾率大大降低。因此 API 接口內(nèi)部結(jié)構(gòu)對于程序員來說是一個黑箱。例如新浪微博通過OAuth 對第三方網(wǎng)站授權(quán)的流程如圖 42所示 圖 51 OAuth 的應用舉例 27 所提供的 api 接口 在我們對 的 API 接口進行介紹之前，先讓我們對 api 接口進行一個簡要的說明： API 的中文意思是應用程序接口，我們?nèi)绻胱層嬎銠C程序之間實現(xiàn)通訊，可以通過 API 接口來進行。在 OAuth 風靡的當下，越來越多的網(wǎng)站服務(wù)商把自己提供的服務(wù)封裝成各種 api接口，這便是 OpenAPI技術(shù)的由來。 OAuth 協(xié)議目前有兩版，相對于舊的版本而言，新的 OAuth 協(xié)議（即 OAuth )對于開發(fā)者而言更為易用。如下表 43 所示 表 43 用戶推薦記錄表 字段名稱 數(shù)據(jù)類型 說明 User_track_id 數(shù)字 已聽歌曲編號 User_id 文本 用戶 ID Track_uuid 文本 推薦歌曲名稱 Source_type 文本 推薦歌曲類型 source 文本 推薦歌曲來源 26 5 系統(tǒng)介紹 網(wǎng)絡(luò)爬蟲的設(shè)計與實現(xiàn) OAuth 協(xié)議 OAuth 被人們視為一個開放協(xié)議，通過 OAuth 協(xié)議，第三方網(wǎng)站可以訪問用戶在某站點的隱私數(shù)據(jù)，而且不需要獲得用戶密碼。包括歌曲編號、用戶 ID、推薦歌曲名稱、歌曲星級以及是否紅心如下表 42所示 表 42 用戶收聽記錄表 字段名稱 數(shù)據(jù)類型 說明 User_track_ID 數(shù)字 歌曲編號 User_id 數(shù)字 用戶 ID Track_uuid 文本 推薦歌曲名稱 Level 數(shù)字 歌曲星級 Is_star 數(shù)字 是否紅心 字段名稱 數(shù)據(jù)類型 說明 user_id 數(shù)字 用戶 ID name 文本 用戶名字 session_key 文本 用戶安全碼 register_time 文本 注冊時間 is_valid 數(shù)字 用戶數(shù)據(jù)有效性 25 用戶推薦記錄表 這張表記錄了向用戶推薦的歌曲的信息。 通過上文的分析，結(jié)合實際情況，本系統(tǒng)在服務(wù)器端采用 mysql 數(shù)據(jù)庫，設(shè)計創(chuàng)建以下三張表： 用戶信息表 這張表用來記錄和用戶相關(guān)的一些數(shù)據(jù)，例如 ID，名字，安全碼，注冊時間，賬戶有效性等。當切換次數(shù)達到一定的閾值后，程序?qū)淖兺扑]歌曲的風格，更新歌曲的播放隊列。根據(jù)這兩張表中的歌曲標簽信息，程序會通過一定的算法，得到一個推薦歌曲的播放隊列。 數(shù)據(jù)爬取功能 本電臺通過 上提供的開放的 API 接口，從 上爬取用戶收聽的歌曲信息，通過一系列的分析和 組織，轉(zhuǎn)化為程序需要的內(nèi)容和樣式，存儲在數(shù)據(jù)庫中。前一段時間很火的錘子系統(tǒng)，它最為人稱道的一個特點就是針對市面上的安卓應用，盡量為每一個應用設(shè)計一個美觀的圖標，這使得它的界面與其他系統(tǒng)相比有了很大的提升。 圖標設(shè)計 對于一個互聯(lián)網(wǎng)產(chǎn)品 來說，圖標的設(shè)計是非常重要的。 標簽設(shè)計 本電臺去掉了繁瑣的標簽。大腦在處理扁平抽象的圖形時，會把注意力集中到圖形本身的功能上來，而不會去太多處理圖像細節(jié)，這樣一來，起到了給人減壓放松的心里效果。 軟件按鈕設(shè)計 軟件的按鈕設(shè)計借鑒了目前流行的扁平化設(shè)計。位于界面中部偏上是本電臺的圖標，中下部是一枚精致的開啟電臺的按鈕。 軟件啟動封面設(shè)計 一個軟件的啟動界面是非常重要的，因為用戶的第一影響往往就來自啟動界面。右側(cè)從上到下依次為專輯信息展示，歌曲播放控件，收藏按鈕。不同情緒的電臺，會配上相應的一些唯美圖像。在主要播放界面，絕大部分面積分配給電臺圖像展示模塊。同一個界面之中不同模塊與動畫過度效果具有一致的設(shè)計，不會帶給用戶分裂的感覺。 沉浸式：通過復雜的算法和簡潔的交互，讓用戶無需花費精力進行冗雜的播放控制，用戶可以全身心的投入到音樂的世界中，得到流暢的、沉浸式的音樂體驗。我們需要一個去偽存真，簡單純凈的地方來休憩心靈。 設(shè)計風格 簡約：極簡的設(shè)計風格是一種趨勢。 數(shù)據(jù)庫： MySQL； Redis。 操作系統(tǒng)要求： windows xp 以上， Mac OS， Linux。所以系統(tǒng)的設(shè)計應該為以后的 維護提供便利，緊跟先進的技術(shù)和理念，不斷對系統(tǒng)進行更新?lián)Q代。 可維護性：軟件開發(fā)不是一件一勞永逸的事。 穩(wěn)定性：通過代碼的設(shè)計和系統(tǒng)的測試，來盡量消除系統(tǒng)存在的 bug，增強系統(tǒng)的容錯能力，從而提高用戶體驗。它可以通過一些算法計算當前應該播放的電臺的情緒，也可以通過用戶點擊情緒模塊中的 up、down、 low、 high 幾個 情緒分類來自行決定要收聽哪類情緒電臺。 情緒電臺選擇：本電臺從功能上講是一種情緒電臺。使用本電臺，需要從該模塊登陸 。當用戶對當前播放的歌曲非常喜歡時，可以通過點擊右下方的紅心按鈕進行收藏。本電臺以簡單、省心為出發(fā)點，只為用戶提供了三個播放控制交互，分別是播放 /暫停，隨機播放，下一首。一方面可以為用戶展示出歌曲專輯信息、演唱者信息、播放進度、所處情緒電臺信息，另一方面也可以為用戶帶來視覺上美的享受。據(jù)此我們開發(fā)出的電臺主要劃分為以下幾個功能模塊：情緒電臺切換，歌曲播放控制，歌曲收藏，音樂展示以及用戶管理 。大多數(shù)網(wǎng)站只是互相模仿和對國外技術(shù)的照搬，同質(zhì)化趨勢嚴重，忽視了一些用戶群體的需要。這就對我們音樂電臺的歌曲推薦功能和界面設(shè)計方面提出了更高的要求。開發(fā)的目的在于能夠提供一些市面上同類產(chǎn)品無法做到或者缺失的用戶功能，即根據(jù)用戶的情緒提供個性化的歌曲。在需求 分析階段，我們需要進行大量的調(diào)研，編寫許多的功能需求文檔，對其可行性做出評估，確立產(chǎn)品需要實現(xiàn)的功能，為后續(xù)的開發(fā)工作打下穩(wěn)定的基石。所以評價一個互聯(lián)網(wǎng)產(chǎn)品的標準，最重要的就是它是否滿足了用戶的需求。在這一階段，需要開發(fā)者從全局的角度進行思考，對系統(tǒng)的整體框架進行討論和設(shè)計。 19 3 音樂網(wǎng)站概要設(shè)計 概述 本章