【正文】 據(jù)爬取功能 23 歌曲推薦功能 234 數(shù)據(jù)庫設(shè)計(jì) 24 用戶信息表 24 用戶收聽記錄表 24 用戶推薦記錄表 255 系統(tǒng)介紹 26 網(wǎng)絡(luò)爬蟲的設(shè)計(jì)與實(shí)現(xiàn) 26 OAuth 協(xié)議 26 所提供的api接口 27 網(wǎng)絡(luò)爬蟲的需求分析 28 網(wǎng)絡(luò)爬蟲的結(jié)構(gòu)與實(shí)現(xiàn) 29 數(shù)據(jù)爬取模塊 29 內(nèi)容分析模塊 29 數(shù)據(jù)處理模塊 31 數(shù)據(jù)存儲模塊 31 功能模塊的實(shí)現(xiàn) 32 歡迎界面 32 登陸界面 33 注冊界面 34 授權(quán)界面 35 電臺初始化界面 35 音樂播放界面 366 總結(jié)與展望 38 總結(jié) 38 展望 38參考文獻(xiàn) 39致謝 411 緒論隨著社會(huì)的進(jìn)步與電腦的普及，互聯(lián)網(wǎng)成為人們快速獲取傳遞信息的重要媒介。之后對網(wǎng)站系統(tǒng)的一些關(guān)鍵技術(shù)進(jìn)行研究和實(shí)現(xiàn)。在軟件工程相關(guān)規(guī)范的約束下，結(jié)合實(shí)際情況對系統(tǒng)進(jìn)行開發(fā)。該音樂網(wǎng)站采用B/S結(jié)構(gòu)進(jìn)行開發(fā)。互聯(lián)網(wǎng)上的歌曲難以計(jì)數(shù)，然而用戶想要找到自己喜歡的歌曲往往要花費(fèi)大量的精力去搜索歌曲和瀏覽各種歌單。在這一背景下，在線數(shù)字音樂服務(wù)因?yàn)槠浞奖?、快捷的特點(diǎn)受到大眾的普遍歡迎。本學(xué)位論文的知識產(chǎn)權(quán)歸屬于培養(yǎng)單位。盡我所知，除文中已經(jīng)注明引用的內(nèi)容外，本學(xué)位論文的研究成果不包含他人享有著作權(quán)的內(nèi)容。本科畢業(yè)論文基于音樂網(wǎng)站的過濾式網(wǎng)絡(luò)爬蟲的研究BACHELOR39。S DEGREE THESIS OF WUHAN UNIVERSITYResearch of the web crawler based on music websiteByJune 2015鄭重聲明本人呈交的學(xué)位論文，是在導(dǎo)師的指導(dǎo)下，獨(dú)立進(jìn)行研究工作所取得的成果，所有數(shù)據(jù)、圖片資料真實(shí)可靠。對本論文所涉及的研究工作做出貢獻(xiàn)的其他個(gè)人和集體，均已在文中以明確的方式標(biāo)明。本人簽名： 日期： 摘要隨著社會(huì)的進(jìn)步與電腦的普及，網(wǎng)絡(luò)逐漸取代了傳統(tǒng)的信息平臺，成為人們迅速獲得和發(fā)布資訊的重要工具。目前雖然數(shù)字音樂服務(wù)提供商眾多，卻同質(zhì)化現(xiàn)象嚴(yán)重，跟不上部分用戶的需求。本文力求通過開發(fā)一個(gè)音樂網(wǎng)站，通過數(shù)據(jù)爬取與算法分析，使得人們找到自己喜歡的歌曲不再困難。使用python + tornado + mysql +redis搭建該網(wǎng)站系統(tǒng)。 本文首先介紹了目前市面上的音樂電臺存在的問題，并且介紹開發(fā)環(huán)境及開發(fā)者運(yùn)用到的關(guān)鍵技術(shù)。關(guān)鍵詞：音樂電臺；網(wǎng)絡(luò)電臺；B/S結(jié)構(gòu) ABSTRACTAs our society develops, puter is being more and more important in our daily life , and Internet bees an important medium for people to get the information quickly. In this context , because online digital music service is convenient and fast, it is weled by the general public. Although there are many digital music service providers, but they failed to meet the demand of some of the users. The songs on the Internet are difficult to count, however, that the user needs to spend a lot of energy to search for songs and browse all kinds of playlist in order to find songs they enjoy. This article seeks to develop a music website, so that users can easily find their favorite songs. The music website uses B/S structure to develop. Use python+tornado+mysql+redis to build the website system. The whole system development process followed the software engineering related specification and the actual situation.This paper first introduces the existing problems of the music websites, and then introduces the development environment and the key technology which the author uses. Then we studyand realize some keytechnologies of the website system.Key words: music radio ；Web crawler 。在這一背景下，在線數(shù)字音樂服務(wù)因?yàn)槠浞奖?、快捷的特點(diǎn)受到大眾的普遍歡迎?；ヂ?lián)網(wǎng)上的歌曲難以計(jì)數(shù)，然而用戶想要找到自己喜歡的歌曲往往要花費(fèi)大量的精力去搜索歌曲和瀏覽各種歌單。對于一些喜歡花費(fèi)時(shí)間享受音樂的用戶而言，把時(shí)間浪費(fèi)到自己并不感興趣的曲目上會(huì)大大減小音樂帶來的樂趣。用戶同時(shí)可選擇相應(yīng)的情緒來收聽情緒電臺。因?yàn)榛ヂ?lián)網(wǎng)的普及極大地降低了數(shù)據(jù)流動(dòng)的成本，以及音樂這種媒介非常容易被數(shù)字化的特征，音樂數(shù)據(jù)在互聯(lián)網(wǎng)上被快速廣泛得傳播是必然的事情，相對于從傳統(tǒng)的唱片店里購買CD,通過互聯(lián)網(wǎng)搜索和下載音樂更加的快捷、經(jīng)濟(jì)和方便。iTunes樂庫豐富，用戶通過搜索可以輕易地下載自己喜歡的歌曲，通過歌曲榜單和歌曲分類，用戶可以探索自己可能感興趣的音樂。通過用戶對所播放歌曲的反饋行為（喜愛或者討厭）以及歌曲本身的一些屬性，找到與之風(fēng)格相似的的音樂，推薦給用戶。不同的是為用戶推薦歌曲的算法有所不同。如果兩個(gè)用戶同時(shí)喜歡同一首歌曲或者相同的幾首歌曲，那么用戶A喜歡聽的其它歌曲中有很大幾率也符合用戶B的口味，從而針對性的進(jìn)行歌曲的推薦。但是目前國內(nèi)音樂網(wǎng)站缺乏原創(chuàng)性以及對版權(quán)的保護(hù)，大多數(shù)只是對國外同類網(wǎng)站的簡單模仿。此外，國內(nèi)音樂網(wǎng)站同質(zhì)化趨勢嚴(yán)重，各大音樂網(wǎng)站沒有自己的特色，僅僅在外觀設(shè)計(jì)上有所區(qū)別，而內(nèi)容模塊基本上大同小異，千篇一律的都是一些“推薦歌曲”，“音樂榜單”，“推薦歌單”，“分類樂庫”等內(nèi)容，久而久之使得用戶產(chǎn)生審美疲勞。我們不應(yīng)該僅僅滿足于對國外技術(shù)的模仿，更應(yīng)該自主創(chuàng)新，才能抓住這一巨大市場，在業(yè)內(nèi)競爭中取得優(yōu)勢地位。 論文的主要內(nèi)容 本文分為五章。 第二章開發(fā)環(huán)境及關(guān)鍵技術(shù)，介紹了音樂電臺的開發(fā)的環(huán)境及關(guān)鍵技術(shù)，包括python編程技術(shù)、json可拓展標(biāo)記語言、tornado、MySQL、Redis、Nginx服務(wù)器。 第四章為數(shù)據(jù)庫的設(shè)計(jì)。 論文的研究方法和技術(shù)路線 本論文主要采用B/S的結(jié)構(gòu)，使用python+tornado+mysql+redis的框架和技術(shù)來開發(fā)這個(gè)系統(tǒng)。而且B/S架構(gòu)的應(yīng)用界面也比C/S架構(gòu)應(yīng)用界面更加美觀、大方。當(dāng)然，C/S結(jié)構(gòu)的應(yīng)用也有它的優(yōu)點(diǎn)，它的安全性更高，可能功能性也更加強(qiáng)大，但是本系統(tǒng)的功能已可以在B/S架構(gòu)下實(shí)現(xiàn)，所以，B/S架構(gòu)就是本系統(tǒng)的最適合的結(jié)構(gòu)。即使是一些大型的企業(yè)，也有的會(huì)使用Mysql作為其web應(yīng)用的數(shù)據(jù)庫。tornado框架是目前最流行的python Web應(yīng)用開發(fā)框架，它強(qiáng)大的標(biāo)簽庫以及精妙的架構(gòu)設(shè)計(jì)無一不使得開發(fā)者開發(fā)程序變得輕松而富有創(chuàng)造性。現(xiàn)在，全世界的編程語言五花八門，加起來有數(shù)百種，但其中的佼佼者大概有二十來種。同樣作為編程語言中的常青樹，c語言和Python相比，更加的貼近硬件。而Python作為為編寫應(yīng)用程序而生的高級語言，它的基礎(chǔ)代碼庫異常的豐富和繁雜，包括了文件、網(wǎng)絡(luò)、數(shù)據(jù)庫、文本、GUI等各式各樣的內(nèi)容?？偠灾?，Python代碼是簡潔，優(yōu)雅的代名詞。 json可拓展標(biāo)記語言 JSON 是一種輕量級的數(shù)據(jù)交換格式,易于機(jī)器解析和生成，同時(shí)也方便人們閱讀和編寫。我們在javascript中不需要任何其它數(shù)據(jù)包就可以處理json數(shù)據(jù)，因?yàn)閖son是javascript的原生格式。與XML相比較，json的優(yōu)勢在于網(wǎng)絡(luò)傳輸更加方便，但是卻不夠一目了然。它是 FriendFeed 使用的可擴(kuò)展的非阻塞式 web 服務(wù)器及其相關(guān)工具的開源版本。 Tornado 和現(xiàn)在的主流 Web 服務(wù)器框架（包括大多數(shù) Python 的框架）有著明顯的區(qū)別：它是非阻塞式服務(wù)器，而且速度相當(dāng)快。Tornado 是個(gè)輕量級框架，它的模塊不多，最重要的一個(gè)模塊是web，它就是包含了 Tornado 的大部分主要功能的 Web 框架。webMySQL作為最流行的關(guān)系型數(shù)據(jù)庫管理系統(tǒng)，在Web應(yīng)用方面是最好的RDBMS(Relational Database Management System，關(guān)系數(shù)庫管理系統(tǒng))應(yīng)用軟件之一。MySQL所使用的SQL語言是用于訪問數(shù)據(jù)庫的最常用標(biāo)準(zhǔn)化語言。由于其社區(qū)版的性能卓越，搭配PHP和Apache可組成良好的開發(fā)環(huán)境。同時(shí)為了便于對于數(shù)據(jù)庫數(shù)據(jù)進(jìn)行管理，自己采用了MySQL workbench這一款數(shù)據(jù)庫管理工具，只需要簡單的配置，就能對MySQL數(shù)據(jù)庫進(jìn)行管理。這些編程語言包括C、C++、Python、Java、Perl、PHP、Eiffel、Ruby和Tcl等；支持多線程，充分利用CPU資源；優(yōu)化的SQL查詢算法，有效地提高查詢速度；既能夠作為一個(gè)單獨(dú)的應(yīng)用程序應(yīng)用在客戶端服務(wù)器網(wǎng)絡(luò)環(huán)境中，也能夠作為一個(gè)庫而嵌入到其他的軟件中提供多語言支持，常見的編碼如中文的GB 231BIG5，日文的Shift_JIS等都可以用作數(shù)據(jù)表名和數(shù)據(jù)列名；提供TCP/IP、ODBC和JDBC等多種數(shù)據(jù)庫連接途徑；提供用于管理、檢查、優(yōu)化數(shù)據(jù)庫操作的管理工具；可以處理擁有上千萬條記錄的大型數(shù)據(jù)庫。JDBC提供了一種基準(zhǔn)，據(jù)此可以構(gòu)建更高級的工具和接口，使數(shù)據(jù)庫開發(fā)人員能夠編寫數(shù)據(jù)庫應(yīng)用程序。和Memcached類似，但是解決了斷電后數(shù)據(jù)完全丟失的情況，而且她支持更