【正文】 圖54 部分json數(shù)據(jù)截圖圖示數(shù)據(jù)只是返回的數(shù)據(jù)的一部分，因為數(shù)據(jù)量比較大，無法完全展示。通過這些api進行數(shù)據(jù)檢索的請求后，我們得到的返回結(jié)果通常是JSON或XML類型的數(shù)據(jù)。OAuth 協(xié)議目前有兩版，相對于舊的版本而言，新的OAuth協(xié)議（即OAuth )對于開發(fā)者而言更為易用。 圖標(biāo)設(shè)計 對于一個互聯(lián)網(wǎng)產(chǎn)品來說，圖標(biāo)的設(shè)計是非常重要的。在主要播放界面，絕大部分面積分配給電臺圖像展示模塊?？删S護性：軟件開發(fā)不是一件一勞永逸的事。通過我們對音樂網(wǎng)站的調(diào)研，發(fā)現(xiàn)市面上的音樂產(chǎn)品存在著以下幾點缺陷：需要較長的時間才能適應(yīng)用戶的口味，不能根據(jù)用戶的情緒來進行歌曲推薦，歌曲分類過于復(fù)雜，需找自己喜歡的音樂往往非常令人厭倦。IP地址搜索策略，網(wǎng)絡(luò)爬蟲被賦予一個種子IP地址，繼而對這個初始的地址段后的每個地址中的文檔進行遍歷。通過對頁面內(nèi)容和鏈接的重要性進行計算，來決定鏈接的訪問順序。它是基于web的應(yīng)用開發(fā)的核心技術(shù)之一，雖然并不如其他技術(shù)一般復(fù)雜，但是其重要性卻是許多web開發(fā)技術(shù)所不能比擬的。 Nginx 是由 Igor Sysoev 為俄羅斯訪問量第二的 站點開發(fā)的。MySQL所使用的SQL語言是用于訪問數(shù)據(jù)庫的最常用標(biāo)準(zhǔn)化語言。 json可拓展標(biāo)記語言 JSON 是一種輕量級的數(shù)據(jù)交換格式,易于機器解析和生成，同時也方便人們閱讀和編寫。而且B/S架構(gòu)的應(yīng)用界面也比C/S架構(gòu)應(yīng)用界面更加美觀、大方。如果兩個用戶同時喜歡同一首歌曲或者相同的幾首歌曲，那么用戶A喜歡聽的其它歌曲中有很大幾率也符合用戶B的口味，從而針對性的進行歌曲的推薦。在這一背景下，在線數(shù)字音樂服務(wù)因為其方便、快捷的特點受到大眾的普遍歡迎。S DEGREE THESIS OF WUHAN UNIVERSITYResearch of the web crawler based on music websiteByJune 2015鄭重聲明本人呈交的學(xué)位論文，是在導(dǎo)師的指導(dǎo)下，獨立進行研究工作所取得的成果，所有數(shù)據(jù)、圖片資料真實可靠。之后對網(wǎng)站系統(tǒng)的一些關(guān)鍵技術(shù)進行研究和實現(xiàn)。與傳統(tǒng)播放器不同的是，潘多拉網(wǎng)絡(luò)電臺沒有音樂播放列表，用戶無法選定下一首歌曲，這樣一來用戶可以專注于音樂本身，從而提供一種連續(xù)的音樂體驗。 第五章是網(wǎng)絡(luò)爬蟲的設(shè)計和實現(xiàn)與網(wǎng)站各模塊的實現(xiàn)。所以通過Python來進行程序開發(fā)是一件非常簡單的過程，因為有大量現(xiàn)成的代碼可以使用，不需要程序員從頭編寫。模塊更加有用. MySQL MySQL是一個關(guān)系型數(shù)據(jù)庫管理系統(tǒng)，由瑞典MySQL AB公司開發(fā)，目前屬于Oracle公司。另一個大區(qū)別在于，用戶可以在開發(fā)環(huán)境中使用Redis的功能，但卻不需要轉(zhuǎn)到Redis。準(zhǔn)確的來說，html是一個規(guī)范，一個標(biāo)準(zhǔn)，通過成對的標(biāo)簽，它規(guī)定了在網(wǎng)頁（Page）中每一塊該顯示何種內(nèi)容，圖片或者文字，以及其相應(yīng)的排版格式。這種網(wǎng)絡(luò)爬蟲消耗的資源非常大，需要抓取的頁面非常多，所以一般被用來為搜索引擎和大型網(wǎng)絡(luò)內(nèi)容提供商提供數(shù)據(jù)采集服務(wù)；基于主題的網(wǎng)絡(luò)爬蟲（也被稱作聚集型網(wǎng)絡(luò)爬蟲）：這種網(wǎng)絡(luò)爬蟲會定義一個主題范圍，然后有選擇性的爬取相關(guān)頁面。廣度優(yōu)先策略，這種搜索策略首先會將當(dāng)前頁面的所有超鏈接搜索完成后，才會進行下一層頁面的爬行。這就對我們音樂電臺的歌曲推薦功能和界面設(shè)計方面提出了更高的要求。 性能需求 流暢性：通過優(yōu)化代碼邏輯，界面邏輯和系統(tǒng)邏輯，提高系統(tǒng)的反應(yīng)速度，優(yōu)化系統(tǒng)的性能，使得用戶體驗更加流暢。 統(tǒng)一性：不同界面之間有著統(tǒng)一的色彩與布局設(shè)計，整個音樂網(wǎng)站帶給用戶一種一致的視覺體驗。本電臺的按鈕設(shè)計具有豐富的動態(tài)效果，例如靜態(tài)效果、點擊效果、鼠標(biāo)放在上面未點擊的效果、獨立變化效果等等，是一套精致美麗的系統(tǒng)。包括已聽歌曲編號、用戶ID、推薦歌曲名稱、推薦歌曲類型和推薦歌曲來源。Api接口的提供對于開發(fā)人員和內(nèi)容服務(wù)提供商都是有好處的。對象的數(shù)據(jù)結(jié)構(gòu)用如下形式表示：{屬性：屬性值，屬性：屬性值，…}其中屬性值可以是數(shù)組、字符串、對象、數(shù)字等。如果用戶輸入了正確的賬號名稱和密碼，則會跳轉(zhuǎn)到電臺初始化界面。詳細介紹了當(dāng)前流行的應(yīng)用開發(fā)的技術(shù)，并嘗試分析了各個關(guān)鍵技術(shù)如網(wǎng)絡(luò)爬蟲、MySQL、mvc等技術(shù)的工作原理。對本研究提供過幫助和做出過貢獻的個人或集體，均已在文中作了明確的說明并表示了謝意。：任務(wù)書、開題報告、外文譯文、譯文原文（復(fù)印件）。從一開始的立項、選題、畢業(yè)設(shè)計的思想、系統(tǒng)設(shè)計、理論的形成以及最終的定稿，都和老師的辛勤指導(dǎo)分不開。電臺初始化界面如圖512所示 電臺初始化界面512 音樂播放界面 經(jīng)過前面一系列的操作之后，最終來到本電臺最主要的音樂播放界面。在我們完成對歌曲信息的爬取，對歌曲信息的分析，對歌曲信息的過濾處理和分類后，需要將這些數(shù)據(jù)經(jīng)過一定的操作，轉(zhuǎn)化為MySQL數(shù)據(jù)庫中的條目，以便程序?qū)Ω枨畔⑦M行檢索或者挖掘其中的數(shù)據(jù)。這些功能模塊組成如圖53所示InternetHTTP數(shù)據(jù)爬取模塊數(shù)據(jù)分析模塊 API接口 數(shù)據(jù)處理模塊數(shù)據(jù)儲存模塊 圖53 功能模塊關(guān)系 網(wǎng)絡(luò)爬蟲的結(jié)構(gòu)與實現(xiàn) 數(shù)據(jù)爬取模塊 接口發(fā)送請求，并得到返回的數(shù)據(jù)。這樣做的一個好處是，程序員可以直接調(diào)用API函數(shù)，使用API接口提供的功能，不需要關(guān)心里面的細節(jié)。在歌曲的播放過程中，程序會記錄用戶的歌曲切換次數(shù)。本電臺啟動界面采取的封面是一張典雅的高清晰度的老式收音機與一臺筆記本電腦組合的圖像，滿含懷舊的音樂風(fēng)情又不失現(xiàn)代的科技感。 界面設(shè)計 技術(shù)手段 本網(wǎng)站的前臺采用了目前最流行的CSS+ HTML5+JSP技術(shù)，界面美觀大方，代碼邏輯清晰。當(dāng)用戶對當(dāng)前播放的歌曲非常喜歡時，可以通過點擊右下方的紅心按鈕進行收藏。所以評價一個互聯(lián)網(wǎng)產(chǎn)品的標(biāo)準(zhǔn)，最重要的就是它是否滿足了用戶的需求。 網(wǎng)絡(luò)爬蟲常見搜索策略 由于工作量巨大，所以全網(wǎng)爬蟲通常會采用一些爬行策略來提高效率。早期的web應(yīng)用都是靜態(tài)頁面，沒有動態(tài)的顯示效果，也無法動態(tài)的與用戶進行交互。CSS 旨在解決問題并幫助設(shè)計者節(jié)省時間，同時它還使設(shè)計人員能夠以更多的方式設(shè)計網(wǎng)頁外觀。 MySQL提供很多種鏈接方法，其中JDBC就是一種很常用的Java數(shù)據(jù)庫連接方法，它是一種用于執(zhí)行SQL語句的Java API，可以為多種關(guān)系數(shù)據(jù)庫提供統(tǒng)一訪問，它由一組用Java語言編寫的類和接口組成。這個 Web 框架看起來有些像 或者 Google 的 webapp，不過為了能有效利用非阻塞式服務(wù)器環(huán)境，這個 Web 框架還包含了一些相關(guān)的有用工具和優(yōu)化。2 技術(shù)支持 python編程技術(shù) 在1989年圣誕節(jié)期間,著名的Guido van Rossum在圣誕節(jié)期間沒有事情可做，為了打發(fā)時間，他編寫了一門編程語言，這就是python。 論文主攻方向本論文所研究的主要內(nèi)容是設(shè)計能夠為用戶提供個性化歌曲的音樂電臺，對電臺界面進行設(shè)計，并提高網(wǎng)絡(luò)爬蟲的性能。對用戶的音樂口味更為準(zhǔn)確，且?guī)缀鯚o需花費時間來學(xué)習(xí)用戶口味；用戶可以選擇相應(yīng)的情緒電臺.在歐美社會，數(shù)字音樂已經(jīng)發(fā)展地相當(dāng)成熟?；ヂ?lián)網(wǎng)上的歌曲難以計數(shù)，然而用戶想要找到自己喜歡的歌曲往往要花費大量的精力去搜索歌曲和瀏覽各種歌單。目前雖然數(shù)字音樂服務(wù)提供商眾多，卻同質(zhì)化現(xiàn)象嚴重，跟不上部分用戶的需求。用戶同時可選擇相應(yīng)的情緒來收聽情緒電臺。我們不應(yīng)該僅僅滿足于對國外技術(shù)的模仿，更應(yīng)該自主創(chuàng)新，才能抓住這一巨大市場，在業(yè)內(nèi)競爭中取得優(yōu)勢地位。tornado框架是目前最流行的python Web應(yīng)用開發(fā)框架，它強大的標(biāo)簽庫以及精妙的架構(gòu)設(shè)計無一不使得開發(fā)者開發(fā)程序變得輕松而富有創(chuàng)造性。它是 FriendFeed 使用的可擴展的非阻塞式 web 服務(wù)器及其相關(guān)工具的開源版本。這些編程語言包括C、C++、Python、Java、Perl、PHP、Eiffel、Ruby和Tcl等；支持多線程，充分利用CPU資源；優(yōu)化的SQL查詢算法，有效地提高查詢速度；既能夠作為一個單獨的應(yīng)用程序應(yīng)用在客戶端服務(wù)器網(wǎng)絡(luò)環(huán)境中，也能夠作為一個庫而嵌入到其他的軟件中提供多語言支持，常見的編碼如中文的GB 231BIG5，日文的Shift_JIS等都可以用作數(shù)據(jù)表名和數(shù)據(jù)列名；提供TCP/IP、ODBC和JDBC等多種數(shù)據(jù)庫連接途徑；提供用于管理、檢查、優(yōu)化數(shù)據(jù)庫操作的管理工具；可以處理擁有上千萬條記錄的大型數(shù)據(jù)庫。通過 CSS，我們可以將使用 HTML（即超文本標(biāo)記語言）創(chuàng)建的網(wǎng)頁上顯示的文本與用于描述如何顯示和表示該文本（使用 CSS 進行定義）的信息完全分隔開。在MVC框架出現(xiàn)之前，java web開發(fā)者經(jīng)歷了Model 1 與Model 2 開發(fā)時代。例如，基于用戶個性化的網(wǎng)絡(luò)爬蟲：這種爬蟲根據(jù)用戶的興趣過通過與用戶的交互來為用戶提供個性化的數(shù)據(jù)信息，不同用戶搜索同一個關(guān)鍵詞會返回不同的結(jié)果；基于元搜索的網(wǎng)絡(luò)爬蟲：把用戶提交的關(guān)鍵字提交到多個搜索引擎，然后在分析整合所得結(jié)果后，再把內(nèi)容返回給用戶。 用戶永遠是互聯(lián)網(wǎng)產(chǎn)品的根本，沒有用戶的產(chǎn)品也就失去了意義。收藏：作為一個針對用戶的個性化電臺，收藏功能當(dāng)然是必不可少的。 數(shù)據(jù)庫：MySQL；Redis。 軟件啟動封面設(shè)計 一個軟件的啟動界面是非常重要的，因為用戶的第一影響往往就來自啟動界面。根據(jù)這兩張表中的歌曲標(biāo)簽信息，程序會通過一定的算法，得到一個推薦歌曲的播放隊列。因此API接口內(nèi)部結(jié)構(gòu)對于程序員來說是一個黑箱。在對傳統(tǒng)網(wǎng)絡(luò)爬蟲的研究的基礎(chǔ)上，：數(shù)據(jù)爬取模塊、內(nèi)容分析模塊、數(shù)據(jù)處理模塊以及數(shù)據(jù)儲存模塊。 數(shù)據(jù)儲存自然是必不可少的模塊。在稍作幾分鐘的等待后，電臺的初始化完畢，界面將跳轉(zhuǎn)到歌曲播放界面，一場音樂發(fā)現(xiàn)之旅即將展開。 參考文獻[1]宋紹云．基于校園網(wǎng)的多媒體網(wǎng)絡(luò)輔助教學(xué)研究．玉溪師范學(xué)院學(xué)報，2002(5)[2]鄭玉．基于Ｗｅｂ的計算機輔助教學(xué)系統(tǒng)．電子工程師報，2001（2）[3]張園林．基于Internet的網(wǎng)上輔助教學(xué)系統(tǒng)的設(shè)計．微機發(fā)展，2003(7)[4]汪永明．基于Web的多媒體輔助教學(xué)系統(tǒng)．微機發(fā)展，2003（9）[5]宋汗增．利用Hibernate對象持久化服務(wù)簡化java數(shù)據(jù)庫訪問[J]．計算機應(yīng)用，2003（12）.[6]陳天河等著．Hibernate項目開發(fā)寶典一一寶典叢書．電子工業(yè)出版社．2006[7]孫衛(wèi)琴．精通Struts：基于MVC的JavaWeb設(shè)計與開發(fā)．電子工業(yè)出版社．2004．