【正文】 user in a day or a certain period of time. Visitor analysis: from the geographical distribution, speed distribution, client environment, such as the overall environment of a region and regional consumer sales.Key words：User Profile。 Hive目 錄第一章 引言 1第一節(jié) 用戶畫像的背景及意義 1第二節(jié) 系統(tǒng)所用的開發(fā)技術(shù)及工具簡介 2第三節(jié) 系統(tǒng)環(huán)境搭建 3第四節(jié) 論文整體設(shè)計結(jié)構(gòu) 6第二章 系統(tǒng)需求分析與概要設(shè)計 8第一節(jié) 用戶畫像的需求分析 8第二節(jié) 可行性分析 9第三節(jié) 系統(tǒng)總體結(jié)構(gòu)設(shè)計 10第四節(jié) 系統(tǒng)功能模塊設(shè)計 13第三章 系統(tǒng)的詳細(xì)設(shè)計與實(shí)現(xiàn) 16第一節(jié) 數(shù)據(jù)倉庫建模 16第二節(jié) 系統(tǒng)部分功能模塊流程圖設(shè)計 25第三節(jié) 部分功能模塊的實(shí)現(xiàn)說明 28第四節(jié) 系統(tǒng)結(jié)構(gòu)和頁面詳細(xì)設(shè)計 32第四章 系統(tǒng)測試 36第一節(jié) 軟件測試的目的 36第二節(jié) 測試的方法及步驟 36第三節(jié) 系統(tǒng)部分功能測試和結(jié)果 37第五章 論文總結(jié)和今后展望 41第一節(jié) 總結(jié) 41第二節(jié) 展望 41參考文獻(xiàn) 42致 謝 43第1章 引言 隨著互聯(lián)網(wǎng)時代的來臨，人們越來越重視對數(shù)據(jù)的利用與處理，在海量數(shù)據(jù)中提取有效信息，進(jìn)行數(shù)據(jù)分析與挖掘發(fā)現(xiàn)商業(yè)價值[1]。本文基于大數(shù)據(jù)與Hadoop技術(shù)進(jìn)行電商用戶畫像的開發(fā)與設(shè)計，論文將從國內(nèi)外研究，需求分析，系統(tǒng)概要設(shè)計，系統(tǒng)詳細(xì)設(shè)計，系統(tǒng)的實(shí)現(xiàn)等方面進(jìn)行整個項(xiàng)目的描述。所以有了各種各樣的數(shù)據(jù)挖掘方式或者種類并將其抽象到各個行業(yè)。 在“用戶中心論”理論支持下，很多行業(yè)意識到用戶的重要性，在整個社會發(fā)展的過程中用戶是主導(dǎo)因素[3]?；ヂ?lián)網(wǎng)行業(yè)也是如此，互聯(lián)網(wǎng)企業(yè)開始加深對用戶的了解。 在很多傳統(tǒng)行業(yè)中，商家為了提高用戶量，經(jīng)常會分析用戶的生命周期和價值，用戶的忠誠度，地域等信息來進(jìn)行商業(yè)決策[6]。再者分析用戶的整體消費(fèi)情況可以了解用戶的消費(fèi)偏好，進(jìn)行商品的推送服務(wù)，例如：短信推送，郵件推送等。 隨著互聯(lián)網(wǎng)行業(yè)的不斷發(fā)展，人們對網(wǎng)上消費(fèi)人群的分析越來越重要。京東將在電子商務(wù)全過程中的所有用戶的數(shù)據(jù)都添加到用戶畫像的建模當(dāng)中，而且對用戶進(jìn)行全方位的精確定位，描繪用戶的特征。第二節(jié) 系統(tǒng)所用的開發(fā)技術(shù)及工具簡介一、 開發(fā)技術(shù)簡介（一） Java與JavaEE簡介Java是一種與C++相似的面向?qū)ο缶幊陶Z言，但它比C++功能更強(qiáng)大、學(xué)起來更為簡單，而且它具有簡單、安全、高性能、面向?qū)ο?、高可移植性以及跨平臺性等優(yōu)點(diǎn)，因而受到了廣大編程人員的追捧。JavaEE是一套用于開發(fā)Java企業(yè)級應(yīng)用程序的規(guī)范標(biāo)準(zhǔn)，功能十分強(qiáng)大，目前有許多網(wǎng)站的服務(wù)端代碼都由它完成編寫，使用JavaEE可以開發(fā)出類似電子商務(wù)網(wǎng)站和企業(yè)資源評估系統(tǒng)這一類伸縮性與靈活性強(qiáng)，且容易維護(hù)的分布式企業(yè)級網(wǎng)絡(luò)應(yīng)用程序[10]。圖11 JavaEE的結(jié)構(gòu)圖（二） 分布式框架Hadoop Hadoop本質(zhì)上來說是一個開源的分布式框架。Hadoop的核心內(nèi)容是HDFS和Mapreduce算法[11]。，Hadoop在集群處理上，可以特別方便的擴(kuò)展節(jié)點(diǎn)數(shù)量。（三） 數(shù)據(jù)倉庫HiveHive是一款基于Hadoop的數(shù)據(jù)倉庫基礎(chǔ)架構(gòu)，他可以方便的將一個結(jié)構(gòu)化的數(shù)據(jù)文件映射成數(shù)據(jù)庫里面的一張表，還提供sql查詢，學(xué)習(xí)成本低等優(yōu)點(diǎn)[12]。目前想Facebook，淘寶等大型公司都是用Hive進(jìn)行數(shù)據(jù)倉庫建模和數(shù)據(jù)分析。二、 開發(fā)工具與環(huán)境介紹（一） CentOS操作系統(tǒng)CentOS是Redhat企業(yè)版產(chǎn)品RHEL的克隆版，但是CentOS是不收費(fèi)的，CentOS具有以下四個特點(diǎn)：1．環(huán)境比較穩(wěn)定2．有穩(wěn)定的開發(fā)團(tuán)隊(duì)提供長久的免費(fèi)的更新支持3．具有保守性4. 性能比較好，就算是大規(guī)模的系統(tǒng)也能保持良好的性能（二） Eclipse工具Eclipse是一款開源的Java開發(fā)工具，Eclipse系列里面有很多版本，比如說支持PHP,andriod等開發(fā)的專門的Eclipse版本。當(dāng)前Eclipse也有收費(fèi)的不開源，但是提供了很多插件的開發(fā)工具myEclipse。root39。%39。12339。2. 利用sqoop將mysq當(dāng)中的數(shù)據(jù)直接導(dǎo)入到Hive當(dāng)中 sqoop import connect jdbc:mysql://:3306/test username root password root table user_info Hiveimport Hiveoverwrite Hivetable user_info fieldsterminatedby 39。第四節(jié) 論文整體設(shè)計結(jié)構(gòu)一、 系統(tǒng)設(shè)計思想本項(xiàng)目通過JavaEE+Hadoop+Hive技術(shù)，設(shè)計并實(shí)現(xiàn)一個簡單的用戶畫像的web界面系統(tǒng)，系統(tǒng)通過后臺數(shù)據(jù)操作得出的結(jié)果，將其以界面形式反映到前臺，決策者可以根據(jù)系統(tǒng)提供的圖表等信息對整個平臺下客戶的忠誠度，所屬區(qū)域，訪客的跳出率等幾個方面對客戶進(jìn)行初次的總結(jié)歸納，最后知道企業(yè)的整體營銷措施。第二章主要介紹了系統(tǒng)整體的需求分析，然后根據(jù)需求寫出初步的概要設(shè)計。第三章主要介紹介紹了用戶畫像的詳細(xì)實(shí)現(xiàn)過程，在需求分析和概要設(shè)計之上更加詳細(xì)的設(shè)計和實(shí)現(xiàn)部分系統(tǒng)功能，其次進(jìn)行功能模塊流程圖設(shè)計，并對一些關(guān)鍵的地方進(jìn)行代碼的說明，最后對整個系統(tǒng)的界面做一下簡單的說明與介紹。首先簡單介紹了系統(tǒng)測試的目的、意義及步驟，然后根據(jù)系統(tǒng)測試要求對本系統(tǒng)進(jìn)行某些模塊的測試。對本系統(tǒng)開發(fā)與設(shè)計過程中遇到的問題和難點(diǎn)，還有自己所收獲到的東西進(jìn)行總結(jié)，并對自己以后的職業(yè)生涯和努力方向加以重定向、或者進(jìn)行階段性的計劃。第一節(jié) 用戶畫像的需求分析本系統(tǒng)大的范圍劃分總共分為兩塊：1. 后臺數(shù)據(jù)處理與分析采用Hadoop+Hive進(jìn)行數(shù)據(jù)分析與數(shù)據(jù)倉庫的建模，系統(tǒng)分析元數(shù)據(jù)來源于mysql數(shù)據(jù)庫2. 前臺顯示運(yùn)用了JavaEE+JfreeChar+Echarts技術(shù)，對后臺分析數(shù)據(jù)進(jìn)行前臺展示。首先我們從系統(tǒng)的后臺數(shù)據(jù)處理進(jìn)行分析，我們利用Hive進(jìn)行數(shù)據(jù)分析，將整個平臺的與客戶相關(guān)的數(shù)據(jù)分為了以下的七張表進(jìn)行數(shù)據(jù)分析與數(shù)據(jù)結(jié)構(gòu)化存儲：1. 客戶消費(fèi)訂單表根據(jù)客戶的消費(fèi)情況提取用戶標(biāo)簽用于了解用戶的消費(fèi)總體情況，以根據(jù)用戶的消費(fèi)習(xí)慣和消費(fèi)能力來進(jìn)行營銷行為。2. 客戶購買類目表根據(jù)客戶購買類目的情況來提取用戶標(biāo)簽用于了解購買人群情況和某一類目的營銷策略數(shù)據(jù)來源于mysql數(shù)據(jù)庫中的：訂單表，類目維表，購物車表。4. 客戶基本屬性表根據(jù)用戶所填寫的屬性標(biāo)簽與推算出來的屬性用于了解用戶的人口屬性的基本屬性和按屬性統(tǒng)計按人口屬性進(jìn)行營銷，例如金牛座的優(yōu)惠和生日優(yōu)惠數(shù)據(jù)來源于mysql數(shù)據(jù)庫中的：用戶表，用戶調(diào)查表，孕歸模型表，馬甲模型表，用戶價值模型表。6. 客戶活動信息表根據(jù)客戶參與的活動的情況提取的客戶標(biāo)簽用戶了解用戶的對活動的參與情況，以進(jìn)行活動的策劃或者根據(jù)對活動不同敏感度的人群做營銷數(shù)據(jù)來源于mysql數(shù)據(jù)庫中的：訂單表，活動表，活動訂單表，用戶表。然后進(jìn)行前臺顯示界面功能的分析，在前端我們要用圖表加數(shù)據(jù)的模式展示給用戶或者決策者，主要以一下幾個方面進(jìn)行展示：1. 系統(tǒng)管理模塊在這個模塊里面我們就主要對用戶畫像前端系統(tǒng)的一個管理和配置，主要包括，菜單管理，系統(tǒng)用戶管理，和角色管理，當(dāng)然在這個里面也對整個系統(tǒng)的權(quán)限進(jìn)行管理。3. 客戶分析在這個模塊里面我們就根據(jù)訪客所在的地域信息，訪客使用的終端環(huán)境，還有訪客訪問速度等幾個方面進(jìn)行分析。所以在每個軟件開發(fā)之間我們都要對這個軟件各個方面進(jìn)行調(diào)查出一份比較權(quán)威的可行性分析研究報告，看這個軟件開發(fā)各個方面條件是否滿足，對于商業(yè)軟件來說主要還是這個軟件的開發(fā)是否盈利，是否成本大于盈利等等各個方面進(jìn)行權(quán)衡。下面我們就這幾個方面進(jìn)行簡要的可行性分析。本系統(tǒng)的前臺展示頁面使用的JavaEE技術(shù)，在大學(xué)課程里面我們既學(xué)習(xí)了JavaSE也學(xué)習(xí)了JavaEE并且本人從事Java開發(fā)行業(yè)也一年多了所以在這方面還是比較有經(jīng)驗(yàn)的所以技術(shù)上也是可行的。再者UML圖，我們在大學(xué)階段開設(shè)過軟件工程這門課學(xué)的就是uml圖的制作和整個軟件開發(fā)流程，在上課時我們也學(xué)會了利用visio等工具畫uml圖，所以在技術(shù)上也是可行的。二、 經(jīng)濟(jì)可行性本系統(tǒng)開發(fā)使用的IDE，環(huán)境還有開發(fā)語言都是開源的，所以在整個開發(fā)成本上節(jié)約了很多資源。四、 操作可行性本系統(tǒng)后臺數(shù)據(jù)不需要用戶進(jìn)行操作，用戶或者決策者所能接觸到的只是前臺的數(shù)據(jù)分析成果展示，所以在操作上沒有什么難度，主要是需要用戶操作的地方和專業(yè)名詞都有相應(yīng)的備注。第三節(jié) 系統(tǒng)總體結(jié)構(gòu)設(shè)計本系統(tǒng)是由JavaEE和Hadoop開發(fā)，其中數(shù)據(jù)分析采用Hadoop，在數(shù)據(jù)分析時需要計算出用戶的各種行為等，比如說用戶的跳出率的計算，用戶忠誠度的分析方法，還有用戶對商品打折促銷等電商進(jìn)行的促銷活動的敏感度，用戶價值的潛力等各個方面的計算與分析，在系統(tǒng)前端用JavaEE做的前臺展示效果，側(cè)重于整個系統(tǒng)權(quán)限的管理還有對用戶行為，地域等信息進(jìn)行分析。系統(tǒng)的整體框架圖如圖21所示。系統(tǒng)后臺全是數(shù)據(jù)的分析和算法，基本上是供程序員使用的，后臺通過Hive簡歷的七張表對整個企業(yè)客戶的消費(fèi)行為，購買能力等方面進(jìn)行分析，統(tǒng)計生成數(shù)據(jù)。整個后臺的整個功能就是數(shù)據(jù)倉庫建模，根據(jù)一定的算法模型計算出客戶消費(fèi)訂單表，客戶購買類目表，客戶購買商店表，客戶基本屬性表，客戶營銷信息表，客戶活動表，客戶訪問信息表七張表。同時后臺還進(jìn)行很多算法模型的設(shè)置和分析例如：1. 潛在汽車消費(fèi)模型現(xiàn)在大多數(shù)電商網(wǎng)站都具有汽車頻道，對用戶的汽車模型也很關(guān)心，如表21所示。本系統(tǒng)前臺主要功能有菜單管理，用戶管理，角色管理，跳出率，忠誠度，活躍度，訪客流失度，地域分析，速度分析，客戶端分析等，如表23所示。菜單管理對系統(tǒng)的左側(cè)菜單進(jìn)行管理，實(shí)現(xiàn)增刪改查等功能。跳出率利用折線圖對客戶跳出率進(jìn)行展現(xiàn)，同時在圖表下面配有查詢的數(shù)據(jù)集做圖表作為支持?；钴S度利用折現(xiàn)圖對用戶活躍度進(jìn)行展現(xiàn)，同時在圖表下面配有查詢的數(shù)據(jù)集做圖表作為支持。地域分析利用餅狀圖對用戶所在地域等信息進(jìn)行展現(xiàn)，同時在圖表下面配有查詢的數(shù)據(jù)集做圖表作為支持。客戶端分析利用餅狀圖對用戶訪問所使用的瀏覽器和操作系統(tǒng)進(jìn)行分析。第四節(jié) 系統(tǒng)功能模塊設(shè)計一、 系統(tǒng)用例圖分析用例圖是在整個軟件或系統(tǒng)開發(fā)的分析階段，常用來描述整個網(wǎng)站的或系統(tǒng)的整體功能，是軟件開發(fā)中的一種可視化的建模語言。參與者，是指系統(tǒng)以外的操作系統(tǒng)或者與系統(tǒng)發(fā)生交互的人。在畫用例圖時一般小人表示參與者，橢圓形圖標(biāo)表示用例。本系統(tǒng)利用用例圖展示系統(tǒng)前臺的功能模塊和操作者的關(guān)系。本系統(tǒng)的總體用例圖 如下圖22：圖22 系統(tǒng)總體用例圖二、 系統(tǒng)功能模塊分析 根據(jù)前面的對本系統(tǒng)的需求分析，我們可將整個系統(tǒng)分為三塊，系統(tǒng)管理，用戶行為，訪客分析。(1) 用戶管理：由于本系統(tǒng)是公司或企業(yè)內(nèi)部系統(tǒng)，所以不存在注冊等信息，本系統(tǒng)的用戶管理包括：新用戶的添加（只有超級管理員才有權(quán)限），用戶角色的分配，還有用戶基本信息的修改，例如修改密碼等等功能。進(jìn)入系統(tǒng)后系統(tǒng)會根據(jù)用戶的不同角色顯示不同的菜單和數(shù)據(jù)，同時支持登錄用戶修改自己密碼的功能。 (4) 菜單管理：這個模塊只有在建系統(tǒng)或者系統(tǒng)功能變更或者系統(tǒng)新添加或去除功能的時候才會用到，因?yàn)檫@個涉及到寫代碼，建立后臺處理了。（二） 用戶行為模塊用戶行為模塊主要包括對用戶的行為分析，包括用的使用網(wǎng)站的跳出率，用戶忠誠度，用戶的活躍度等信息。此類訪問者所占的比例越高，說明網(wǎng)站的對他們沒有太高的吸引力。c. 跳出率是衡量訪問質(zhì)量的指標(biāo)，跳出率較高通常表示網(wǎng)站進(jìn)入頁（目標(biāo)網(wǎng)頁）與訪問者相關(guān)性不強(qiáng)。目標(biāo)網(wǎng)頁應(yīng)提供廣告中承諾的信息和服務(wù)。 該功能有助于站長了解站點(diǎn)粘性和用戶忠誠度。新訪問者量大表示對訪問者有強(qiáng)烈的吸引力。(2) 忠誠度：根據(jù)后臺Hive數(shù)據(jù)統(tǒng)計的數(shù)據(jù)建立用戶的忠誠度菜單，該功能在界面上顯示功能主要包括，根據(jù)時間查詢一個時間段內(nèi)的訪問次數(shù)和比例，然后制成餅狀圖進(jìn)行顯示，并提供相應(yīng)的數(shù)據(jù)支持。（三） 訪客分析該模塊里面主要是針對客戶地理位置，訪客瀏覽速度，和訪客所使用客戶端類型等幾個方面從客觀角度，對客戶進(jìn)行分析。根據(jù)用戶自己設(shè)定的時間查詢不用地區(qū)客戶的訪問量和占總訪問量的百分比等信息，將統(tǒng)計結(jié)果利用餅狀圖顯示，并提供的相應(yīng)的數(shù)據(jù)支持。（3） 客戶端分析：根據(jù)后臺Hive數(shù)據(jù)統(tǒng)計的數(shù)據(jù)建立用戶的客戶端分析菜單，查詢并統(tǒng)計用于使用的不同客戶端信息，如瀏覽器版本，不同瀏覽器，操作系統(tǒng)等，然后將統(tǒng)計數(shù)據(jù)制作成餅狀圖進(jìn)行顯示，提供相應(yīng)的數(shù)據(jù)支持。第3章 系統(tǒng)的詳細(xì)設(shè)計與實(shí)現(xiàn)本章主要介紹了詳細(xì)實(shí)現(xiàn)過程，在上一章需求分析與概要設(shè)計的基礎(chǔ)之上首先進(jìn)行數(shù)據(jù)倉庫建模，其次進(jìn)行功能模塊流程圖設(shè)計，再次對功能模塊的實(shí)現(xiàn)過程與代碼進(jìn)行詳細(xì)說明，最后對本網(wǎng)站的大體結(jié)構(gòu)進(jìn)行簡單介紹。它是操作系統(tǒng)過渡到?jīng)Q策者為了決策而用的支持系統(tǒng)[14]。這些問題主要包括以下幾類：1. 如何從原來的操作系統(tǒng)中提取數(shù)據(jù)。二、 數(shù)據(jù)倉庫表的概念結(jié)構(gòu)設(shè)計不管是數(shù)據(jù)庫建庫還是利用數(shù)據(jù)倉庫建模，建表，其實(shí)其最重要和最本質(zhì)的東西或者原型就是實(shí)體[15]。一個實(shí)體一般有其所特定的概念模型。根據(jù)上一章對系統(tǒng)的需求分析以及概要設(shè)計