【文章內(nèi)容簡介】 師用來研究和統(tǒng)計(jì)，建模用的，前臺(tái)是展示給一般系統(tǒng)用戶看的，這個(gè)主要是提供給企業(yè)內(nèi)部，領(lǐng)導(dǎo)者，或者公司內(nèi)部做營銷等專家作分析，并在分析的基礎(chǔ)上領(lǐng)導(dǎo)企業(yè)的發(fā)展方向和以后生產(chǎn)產(chǎn)品定向。系統(tǒng)后臺(tái)全是數(shù)據(jù)的分析和算法，基本上是供程序員使用的，后臺(tái)通過Hive簡歷的七張表對整個(gè)企業(yè)客戶的消費(fèi)行為，購買能力等方面進(jìn)行分析，統(tǒng)計(jì)生成數(shù)據(jù)。而統(tǒng)計(jì)數(shù)據(jù)來源于企業(yè)以前系統(tǒng)用來儲(chǔ)存數(shù)據(jù)的數(shù)據(jù)庫mysql中的表。整個(gè)后臺(tái)的整個(gè)功能就是數(shù)據(jù)倉庫建模，根據(jù)一定的算法模型計(jì)算出客戶消費(fèi)訂單表，客戶購買類目表，客戶購買商店表，客戶基本屬性表，客戶營銷信息表，客戶活動(dòng)表，客戶訪問信息表七張表。這七張表分別從不同的方向統(tǒng)計(jì)了用戶在購買能力，區(qū)域分布，忠誠度，敏感指數(shù)等方面的值，對用戶潛在價(jià)值進(jìn)行挖掘與分析。同時(shí)后臺(tái)還進(jìn)行很多算法模型的設(shè)置和分析例如：1. 潛在汽車消費(fèi)模型現(xiàn)在大多數(shù)電商網(wǎng)站都具有汽車頻道，對用戶的汽車模型也很關(guān)心，如表21所示。表21 汽車消費(fèi)模型表用戶是否有車0：未識(shí)別1：是根據(jù)用戶是否購買汽車相關(guān)的產(chǎn)品來判斷用戶是否有車潛在汽車用戶0：未識(shí)別1：是用戶瀏覽或者搜索汽車相關(guān)的產(chǎn)品進(jìn)行判斷2. 用戶價(jià)值模型體現(xiàn)用戶對網(wǎng)站的價(jià)值，對于提高用戶留存率非常重要使用FRM實(shí)現(xiàn)用戶價(jià)值模型參考指標(biāo)? 最近一次消費(fèi)時(shí)間或者最后一次消費(fèi)至今時(shí)間? 消費(fèi)頻率? 消費(fèi)金額3. 用戶忠誠度模型忠誠度越高的用戶越多，對網(wǎng)站的發(fā)展有利，如表22所示表22 用戶忠誠度模型表用戶忠誠度1. 忠誠型用戶2. 偶爾型用戶3. 投資型用戶4. 瀏覽型用戶0. 未識(shí)別1. 瀏覽型用戶：只瀏覽沒購買2. 購買天數(shù)大于一定天數(shù)的直接判斷為忠誠用戶3. 購買天數(shù)小于一定天數(shù)的大部分有優(yōu)惠才購買的4. 其他類型根據(jù)購買天數(shù)，購買最后一次距今時(shí)間，購買金額進(jìn)行聚類4. 客戶活躍狀態(tài)模型? 注冊未購買（只注冊沒購買，多是第三方登錄）? 活躍（可以分為高頻，中頻，低頻，或者直接最近六十天有購買者）? 沉睡（近九十天購買了，近六十天沒有購買）? 流失（近九十天無購買，曾經(jīng)購買過）5. 疑似馬甲模型? 馬甲是指一個(gè)用戶注冊多個(gè)賬號? 多次訪問ip地址想的用戶賬號是同一個(gè)人所有? 同一臺(tái)手機(jī)登錄多次的用戶賬號是一個(gè)人所有? 收貨手機(jī)號相同的賬號是同一個(gè)所有以上幾個(gè)模型是其中比較典型的幾個(gè)分析模型，我們的整個(gè)數(shù)據(jù)分析都是在這些模型的基礎(chǔ)上生成的和操作的。本系統(tǒng)前臺(tái)主要功能有菜單管理，用戶管理，角色管理，跳出率，忠誠度，活躍度，訪客流失度，地域分析，速度分析，客戶端分析等，如表23所示。表23 系統(tǒng)功能表用戶管理實(shí)現(xiàn)對新添用戶，給用戶賦予角色，和編輯用戶基本信息，刪除用戶等功能。菜單管理對系統(tǒng)的左側(cè)菜單進(jìn)行管理，實(shí)現(xiàn)增刪改查等功能。角色管理一個(gè)系統(tǒng)可以具有多個(gè)角色，而每個(gè)角色又具有不同的權(quán)限，在這個(gè)模塊里面實(shí)現(xiàn)了對角色的增刪改查的功能，除此之外，還有給角色賦予權(quán)限和修改權(quán)限等功能。跳出率利用折線圖對客戶跳出率進(jìn)行展現(xiàn)，同時(shí)在圖表下面配有查詢的數(shù)據(jù)集做圖表作為支持。忠誠度利用餅狀圖對用戶忠誠度進(jìn)行展現(xiàn)，同時(shí)在圖表下面配有查詢的數(shù)據(jù)集做圖表作為支持?；钴S度利用折現(xiàn)圖對用戶活躍度進(jìn)行展現(xiàn)，同時(shí)在圖表下面配有查詢的數(shù)據(jù)集做圖表作為支持。在這個(gè)模塊里面還統(tǒng)計(jì)了用戶流失率的統(tǒng)計(jì)，同時(shí)也有相應(yīng)的數(shù)據(jù)作為對圖表的支持。地域分析利用餅狀圖對用戶所在地域等信息進(jìn)行展現(xiàn)，同時(shí)在圖表下面配有查詢的數(shù)據(jù)集做圖表作為支持。速度分析利用地圖對每個(gè)地方用戶的訪問速度進(jìn)行分析，同時(shí)在地圖下面配有查詢的數(shù)據(jù)集做圖表作為支持?？蛻舳朔治隼蔑灎顖D對用戶訪問所使用的瀏覽器和操作系統(tǒng)進(jìn)行分析。同時(shí)在圖表下面配有查詢的數(shù)據(jù)集做圖表作為支持。第四節(jié) 系統(tǒng)功能模塊設(shè)計(jì)一、 系統(tǒng)用例圖分析用例圖是在整個(gè)軟件或系統(tǒng)開發(fā)的分析階段，常用來描述整個(gè)網(wǎng)站的或系統(tǒng)的整體功能，是軟件開發(fā)中的一種可視化的建模語言。用例圖由三部分組成，分別是參與者，用例，以及參與者與用例之間關(guān)系的線或箭頭。參與者，是指系統(tǒng)以外的操作系統(tǒng)或者與系統(tǒng)發(fā)生交互的人。用例，是指整個(gè)系統(tǒng)的功能模塊。在畫用例圖時(shí)一般小人表示參與者，橢圓形圖標(biāo)表示用例。用例圖只是展示整個(gè)系統(tǒng)功能模塊和操作人的關(guān)系，并不是介紹代碼。本系統(tǒng)利用用例圖展示系統(tǒng)前臺(tái)的功能模塊和操作者的關(guān)系。超級管理員可以操作：菜單管理，用戶管理，角色管理，用戶行為分析，用戶訪客分析等整個(gè)功能，而普通用戶或者一般決策者只能使用用戶行為分析，用戶訪客行為等非系統(tǒng)管理功能模塊。本系統(tǒng)的總體用例圖 如下圖22：圖22 系統(tǒng)總體用例圖二、 系統(tǒng)功能模塊分析 根據(jù)前面的對本系統(tǒng)的需求分析，我們可將整個(gè)系統(tǒng)分為三塊，系統(tǒng)管理，用戶行為，訪客分析。以下對每個(gè)模塊進(jìn)行介紹：（一） 系統(tǒng)管理系統(tǒng)管理，管理的是整個(gè)系統(tǒng)的配置信息，比如說權(quán)限管理，系統(tǒng)菜單管理，用戶管理等等。(1) 用戶管理：由于本系統(tǒng)是公司或企業(yè)內(nèi)部系統(tǒng)，所以不存在注冊等信息，本系統(tǒng)的用戶管理包括：新用戶的添加（只有超級管理員才有權(quán)限），用戶角色的分配，還有用戶基本信息的修改，例如修改密碼等等功能。(2) 用戶登陸：系統(tǒng)里面已經(jīng)存在的用戶，可以根據(jù)自己的賬號和密碼，同時(shí)輸入系統(tǒng)自動(dòng)生成的驗(yàn)證碼，當(dāng)這些信息都對的時(shí)候才能登錄系統(tǒng)。進(jìn)入系統(tǒng)后系統(tǒng)會(huì)根據(jù)用戶的不同角色顯示不同的菜單和數(shù)據(jù)，同時(shí)支持登錄用戶修改自己密碼的功能。(3) 角色管理：此功能只有超級管理員才能用，在這塊里面用戶可以建立不同的角色，比如說超級管理員，一般用戶等等信息，除此之外還可以對角色信息分條件查看，刪除，修改等功能，在這個(gè)里面最重要的就是給不同的角色授予不同的權(quán)限。 (4) 菜單管理：這個(gè)模塊只有在建系統(tǒng)或者系統(tǒng)功能變更或者系統(tǒng)新添加或去除功能的時(shí)候才會(huì)用到，因?yàn)檫@個(gè)涉及到寫代碼，建立后臺(tái)處理了。當(dāng)然我們在本系統(tǒng)中對此功能也是進(jìn)行了添加修改，刪除，查看等功能。（二） 用戶行為模塊用戶行為模塊主要包括對用戶的行為分析，包括用的使用網(wǎng)站的跳出率，用戶忠誠度，用戶的活躍度等信息。注：① 跳出率：a. 跳出者是指訪問量只有一頁（即PV(page view)是1）訪問者。此類訪問者所占的比例越高，說明網(wǎng)站的對他們沒有太高的吸引力。b. 跳出率是指單頁訪問次數(shù)（即訪問者從進(jìn)入頁面離開網(wǎng)站的訪問次數(shù)）所占的百分比。c. 跳出率是衡量訪問質(zhì)量的指標(biāo)，跳出率較高通常表示網(wǎng)站進(jìn)入頁（目標(biāo)網(wǎng)頁）與訪問者相關(guān)性不強(qiáng)。d. 我們可以針對每個(gè)關(guān)鍵字和我們投放的廣告來調(diào)整目標(biāo)網(wǎng)頁，從而最大程度地降低跳出率。目標(biāo)網(wǎng)頁應(yīng)提供廣告中承諾的信息和服務(wù)。 ② 忠誠度：a. 回訪次數(shù)，距離上次訪問超過12小時(shí)的再次訪問，被記錄為一次回頭。 該功能有助于站長了解站點(diǎn)粘性和用戶忠誠度。b. 忠誠的訪問者通常對我們的品牌有較高的興趣，大量的重復(fù)訪問表示客戶為優(yōu)質(zhì)客戶并且網(wǎng)站有較好的訪問者保持力。新訪問者量大表示對訪問者有強(qiáng)烈的吸引力。(1) 跳出率：根據(jù)后臺(tái)Hive數(shù)據(jù)統(tǒng)計(jì)的數(shù)據(jù)建立用戶的跳出率菜單，該功能在界面上顯示功能主要包括，根據(jù)時(shí)間查詢一個(gè)時(shí)間段內(nèi)的訪客量和跳出訪客量，然后做成折線圖進(jìn)行展示，并提供相應(yīng)的數(shù)據(jù)支持。(2) 忠誠度：根據(jù)后臺(tái)Hive數(shù)據(jù)統(tǒng)計(jì)的數(shù)據(jù)建立用戶的忠誠度菜單，該功能在界面上顯示功能主要包括，根據(jù)時(shí)間查詢一個(gè)時(shí)間段內(nèi)的訪問次數(shù)和比例，然后制成餅狀圖進(jìn)行顯示，并提供相應(yīng)的數(shù)據(jù)支持。(3) 活躍度：根據(jù)后臺(tái)Hive數(shù)據(jù)統(tǒng)計(jì)的數(shù)據(jù)建立用戶的活躍度菜單，該功能在界面上顯示功能主要包括，根據(jù)時(shí)間查詢一個(gè)時(shí)間段內(nèi)的活躍訪客量，當(dāng)然在這個(gè)模塊里面我們也添加了查看流失訪客的數(shù)量，然后做成折線圖進(jìn)行展示，并提供相應(yīng)的數(shù)據(jù)支持。（三） 訪客分析該模塊里面主要是針對客戶地理位置，訪客瀏覽速度，和訪客所使用客戶端類型等幾個(gè)方面從客觀角度，對客戶進(jìn)行分析。（1）地域分布：根據(jù)后臺(tái)Hive數(shù)據(jù)統(tǒng)計(jì)的數(shù)據(jù)建立用戶的地域分布菜單，可以使決策者直觀的看出我們現(xiàn)在的客戶主要來自哪里，等地域分布情況。根據(jù)用戶自己設(shè)定的時(shí)間查詢不用地區(qū)客戶的訪問量和占總訪問量的百分比等信息，將統(tǒng)計(jì)結(jié)果利用餅狀圖顯示，并提供的相應(yīng)的數(shù)據(jù)支持。（2） 速度分布：根據(jù)后臺(tái)Hive數(shù)據(jù)統(tǒng)計(jì)的數(shù)據(jù)建立用戶的速度分布菜單，查詢每個(gè)地方的訪客訪問速度等信息，最終在前臺(tái)用一張地圖作為圖表，顯示不同地區(qū)訪問速度等數(shù)據(jù)，直觀大方同時(shí)提供相應(yīng)的數(shù)據(jù)支持。（3） 客戶端分析：根據(jù)后臺(tái)Hive數(shù)據(jù)統(tǒng)計(jì)的數(shù)據(jù)建立用戶的客戶端分析菜單，查詢并統(tǒng)計(jì)用于使用的不同客戶端信息，如瀏覽器版本，不同瀏覽器，操作系統(tǒng)等，然后將統(tǒng)計(jì)數(shù)據(jù)制作成餅狀圖進(jìn)行顯示，提供相應(yīng)的數(shù)據(jù)支持。（4） 移動(dòng)端分析：根據(jù)后臺(tái)Hive數(shù)據(jù)統(tǒng)計(jì)的數(shù)據(jù)建立用戶的移動(dòng)端分析菜單，查詢并統(tǒng)計(jì)用于使用的不同移動(dòng)端信息，如移動(dòng)版版本，手機(jī)型號等，然后將統(tǒng)計(jì)數(shù)據(jù)制作成餅狀圖進(jìn)行顯示，提供相應(yīng)的數(shù)據(jù)支持。第3章 系統(tǒng)的詳細(xì)設(shè)計(jì)與實(shí)現(xiàn)本章主要介紹了詳細(xì)實(shí)現(xiàn)過程，在上一章需求分析與概要設(shè)計(jì)的基礎(chǔ)之上首先進(jìn)行數(shù)據(jù)倉庫建模，其次進(jìn)行功能模塊流程圖設(shè)計(jì)，再次對功能模塊的實(shí)現(xiàn)過程與代碼進(jìn)行詳細(xì)說明，最后對本網(wǎng)站的大體結(jié)構(gòu)進(jìn)行簡單介紹。第一節(jié) 數(shù)據(jù)倉庫建模一、 數(shù)據(jù)倉庫概述數(shù)據(jù)倉庫從本質(zhì)上來講是一種工具或者整個(gè)企業(yè)內(nèi)數(shù)據(jù)集成環(huán)境。它是操作系統(tǒng)過渡到?jīng)Q策者為了決策而用的支持系統(tǒng)[14]。在這個(gè)過程中它還解決了好多數(shù)據(jù)流相關(guān)的問題。這些問題主要包括以下幾類：1. 如何從原來的操作系統(tǒng)中提取數(shù)據(jù)。2. 如何把不同數(shù)據(jù)統(tǒng)一化，并且能夠提高性能等。二、 數(shù)據(jù)倉庫表的概念結(jié)構(gòu)設(shè)計(jì)不管是數(shù)據(jù)庫建庫還是利用數(shù)據(jù)倉庫建模，建表，其實(shí)其最重要和最本質(zhì)的東西或者原型就是實(shí)體[15]。一個(gè)實(shí)體應(yīng)包含名稱和屬性等各個(gè)屬性。一個(gè)實(shí)體一般有其所特定的概念模型。概念模型的表示方法有很多，目前最常用的是實(shí)體聯(lián)系（ER）模型設(shè)計(jì)方法，實(shí)體聯(lián)系模型一般使用ER圖來表示，它使用不同形狀來分別表示實(shí)體、屬性、和聯(lián)系，其中實(shí)體用方框表示，代表用戶體中客觀存在的事務(wù)；屬性使用橢圓來表示，描述了每個(gè)實(shí)體所有的特性；而實(shí)體間的聯(lián)系用菱形來表示[16]。根據(jù)上一章對系統(tǒng)的需求分析以及概要設(shè)計(jì)，建立部分實(shí)體的ER圖，如圖31所示。 圖31 系統(tǒng)管理ER圖三、 數(shù)據(jù)庫邏輯結(jié)構(gòu)設(shè)計(jì)數(shù)據(jù)倉庫邏輯結(jié)構(gòu)設(shè)計(jì)，這個(gè)階段是將上個(gè)階段完成的數(shù)據(jù)庫實(shí)體屬性圖轉(zhuǎn)換成在Hive數(shù)據(jù)表里面可以建表的屬性和字段類型，屬性名等信息[17]。在實(shí)際應(yīng)用時(shí)，應(yīng)先建立實(shí)體的物理模型，將模型關(guān)系和應(yīng)該包含的字段確定下來之后進(jìn)行數(shù)據(jù)倉庫表的建模。 (1) 系統(tǒng)用戶表，存放所有的系統(tǒng)用戶信息，表結(jié)構(gòu)如表31所示。表31 普通用戶表（sys_user）字段名稱類型字節(jié)數(shù)描述Idint10用戶編號（主鍵）（自增）usernamestring32用戶名（非空）passwordstring32密碼（非空）string64郵箱（非空）stateint4狀態(tài)（非空）addressstring64地址（可為空）sexstring6性別（可為空）phoneint20聯(lián)系電話（可為空）roleIdint4用戶角色（非空）userTypeint4用戶類型（非空）Remarkstring500備注（可為空）(2) 系統(tǒng)菜單表，存放所有的系統(tǒng)菜單信息，表結(jié)構(gòu)如表32所示。表32 系統(tǒng)菜單表（auth）字段名稱類型字節(jié)數(shù)描述cidint10菜單id(主鍵)（自增）authNamestring32菜單名（非空）authpathstring20對應(yīng)路徑（非空）parentIdint10父級菜單Id（可為空）iconstring50菜單圖標(biāo)（可為空）stateint4菜單狀態(tài)remarkstring500備注（可為空）(3) 系統(tǒng)角色表，存放所有的角色信息，表結(jié)構(gòu)如表33所示。表33 系統(tǒng)角色表（role）字段名稱類型字節(jié)數(shù)描述roleIdint10角色id（主鍵）（非空）roleNamestring32角色名稱（非空）authIdstring32菜單Id（非空）remarkstring500備注（可為空）(4)客戶消費(fèi)訂單表，存放所有的客戶消費(fèi)訂單的分析結(jié)果數(shù)據(jù)，表結(jié)構(gòu)如表34所示。表34 客戶消費(fèi)訂單表（user_portrait_order）字段名稱類型字節(jié)數(shù)描述user_idbigint20客戶IDfirst_order_timetimestamp第一次消費(fèi)時(shí)間last_order_timetimestamp最近一次消費(fèi)時(shí)間first_order_agobigint20首單距今時(shí)間last_order_agobigint20尾單距今時(shí)間month1_hg_order_tbigint20近三十天的購買次數(shù)month1_hg_order_amtdouble近三十天的購買金額month2_hg_order_tbigint20近六十天的購買次數(shù)month2_hg_order_amtdouble近六十天的購買金額month3_hg_order_tbigint20近六十天的購買次數(shù)month3_hg_order_amtdouble近九