【正文】 對于一 個標(biāo)準(zhǔn)的電子商務(wù)網(wǎng)站系統(tǒng)，其系統(tǒng)架構(gòu)圖如圖 41 所示。 MapReduce 的主要思想是使用整塊分割為局部，然后處理局部信息，最后整合處理后的數(shù)據(jù)，形成統(tǒng)一的數(shù)據(jù)集。它的最初靈感來源于函數(shù)式編程語言中經(jīng)常用到的映射（ Map)和規(guī)約(Reduce)函數(shù)，它將復(fù)雜的并行算法處理過程抽象為一組概念簡單的接口，用來實(shí)現(xiàn)大規(guī)模海量信息處理的分部化、并行化，從而使得開發(fā)人員編寫程序不需要什么份豐富的編程經(jīng)驗(yàn)。一般將文件分為 64M 一塊，然后在不同的節(jié)點(diǎn)上存儲，同時每一快數(shù)據(jù)塊都有 幾個備份。許多人都都使用 Hadoop 框架完成網(wǎng)站的后臺數(shù)據(jù)處理。但數(shù)據(jù)量大并不能稱作是大數(shù)據(jù)，大數(shù)據(jù)的特征是數(shù)據(jù)種類多、數(shù)據(jù)量大、非標(biāo)準(zhǔn)化數(shù)據(jù)的價值最大化。 數(shù)據(jù)的量的級別已經(jīng)遠(yuǎn)遠(yuǎn)不是 TB(1012 字節(jié) )，它甚至發(fā)展到了 PB 甚至到了 ZB 的級別，可稱為巨量數(shù)據(jù)乃至超量數(shù)據(jù)。組合推薦技術(shù) 中應(yīng)用最早的 。在基于規(guī)則的推薦技術(shù)中，關(guān)聯(lián)規(guī)則的運(yùn)算成本較高，這種技術(shù)在運(yùn)行中經(jīng)常采用離線挖掘，在數(shù)據(jù)庫中保存網(wǎng)絡(luò)用戶模型，為網(wǎng)絡(luò)用戶的下一次訪問提供推薦服務(wù)，但這種技術(shù)會對推薦的實(shí)時性有一定的影響。這種推薦技術(shù)的優(yōu)點(diǎn)是能考慮項(xiàng)目的非自身屬性，從而提高推薦系統(tǒng)的全面性，實(shí)現(xiàn)更高層次的個性化推薦。在交易數(shù)據(jù)庫中，通過用戶已經(jīng)購買商品集 A 和用戶購買 B 的交易比例，得到他們之間的關(guān)聯(lián)規(guī)則，找到滿足最小支持度和最小置信度的關(guān)聯(lián)規(guī)則項(xiàng)目集。 個性化推薦技術(shù) 1. 基于用戶協(xié)同的過濾推薦技術(shù)。 推薦系統(tǒng)可以通過提高用戶的偏好匹配度，增加決策可信度，提供更多替代產(chǎn)品來提高消費(fèi)者的決策質(zhì)量； 2. 決策效率更高。王熙法 [5]等人在文獻(xiàn)中提出使用神經(jīng)網(wǎng)絡(luò)方法的用戶行為分析方法，先對 Web 日志文件進(jìn)行預(yù) 處理分析，然后再從網(wǎng)站會話中找出頻繁項(xiàng)集，進(jìn)一步規(guī)范化處理后得出用戶聚類，聚類分區(qū)通過將用戶或商品項(xiàng)進(jìn)行聚類分區(qū) ,相似性和商品推薦的計(jì)算在分區(qū)內(nèi)或分區(qū)之間進(jìn)行從而大大降低了數(shù)據(jù)空間的大小和數(shù)據(jù)的稀疏程度，提高了算法效率和準(zhǔn)確度 [6]。 基于商品相關(guān)性的推薦系統(tǒng)。 電子商務(wù)個性化推薦系統(tǒng)的分類 電子商務(wù)個性化推薦系統(tǒng)圍繞客戶為中心，提供對用戶的服務(wù)，根據(jù)系統(tǒng)推薦的持久性和自動 化程度對電子商務(wù)個性化推薦系統(tǒng)進(jìn)行分類 [2]。推薦系統(tǒng)的服務(wù)對象是客戶 ,系統(tǒng)的目標(biāo)是為客戶提供項(xiàng)目推薦。只有通過用戶瀏覽信息數(shù)據(jù)和其他方式的用戶行為，才能準(zhǔn)確地找出用戶的瀏覽興趣，從而向用戶推薦感興趣的產(chǎn)品，同時也才能在不同的用戶群之間進(jìn)行精準(zhǔn)地協(xié)作過濾推薦。 關(guān)注大數(shù)據(jù)環(huán)境下電子商務(wù)個性化推薦服務(wù)的特征與挑戰(zhàn)，探討個性化推薦服務(wù)新的發(fā)展動向，對于打造商務(wù)網(wǎng)站競爭優(yōu)勢、拓展個性化推薦服務(wù)研究內(nèi)容等方面具有重要的實(shí)踐意義和理論意義。對于海量數(shù)據(jù)，提供高附加值的數(shù)據(jù)分析服務(wù)，轉(zhuǎn)化大數(shù)據(jù)封裝為服務(wù)，形成可對外開放、可商業(yè)化的核心能力，一定程度上也實(shí)現(xiàn)了經(jīng)營模式的創(chuàng)新，給個性化推薦服務(wù)提供強(qiáng)大的數(shù)據(jù)基礎(chǔ)。 在這種情況下，電子商務(wù)個性化推薦系統(tǒng)（ Personalized Remender Systems in Emerce）應(yīng)運(yùn)而生，它是建立在大量數(shù)據(jù)挖掘 基礎(chǔ)上的一種先進(jìn)商務(wù)智能平臺，幫助電子商務(wù)網(wǎng)站為顧客購物提供完全個性化的決策支持和信息服務(wù)。這種推薦方式的效率不高，大數(shù)據(jù)時代的個性化推薦框架應(yīng)該從源頭進(jìn)行分析和挖掘。 三年來， XXX老師在 生活 、工作、 學(xué)習(xí) 方面給予了我 很大 的關(guān)懷 ，給我一切課可以學(xué)習(xí)鍛煉的機(jī)會。 他們在我 失落 的時候鼓勵 開導(dǎo)我，幫助我恢復(fù)信心 。s browsing featured related to product information, and purchasing information to users. This way of remendation’s efficiency is low, data mining framework for personalized remendation should be analysis from the source. To solve the above problems, this paper set out the background and related studies, and studied the development of remendation systems, remendation algorithms and their applications. This paper also discussed the principles of big data Hadoop framework. Based on the theoretical research and application of remender systems andresearch on Hadoop, starting from the source of large data sets to determinea remended system architecture and functional and detailed design ofremender systems. This main idea ways in which source data based on auser39。從這些用戶歷史購買數(shù)據(jù)以及瀏覽行為等，可以對用戶進(jìn)行更加深入的個性化推薦。但是，隨著數(shù)據(jù)量的增長、服務(wù)要求的提升、語義網(wǎng)的迅速發(fā)展，數(shù)據(jù)組織形式肯定要發(fā)生轉(zhuǎn)變。 接著，本章節(jié)介紹了幾種流行的個 性化推薦技術(shù)，并對這幾種個性化推薦技術(shù)進(jìn)行了比較分析。 圖 21亞馬遜（ )的個性化推薦列表 Amazon Personalized Remendation List 圖 21 就是亞馬遜中國（ ）的個性化推薦列表，它包含了一下幾個部分：推薦結(jié)果的標(biāo)題，推薦結(jié)果的平均分以及推薦理由。隨著網(wǎng)絡(luò)交易的機(jī)制被大多數(shù)人接受之后，電子商務(wù)網(wǎng)站紛紛崛起，因?yàn)榫W(wǎng)絡(luò)交易的成本低廉，人們通過互聯(lián)網(wǎng)絡(luò)進(jìn)行商務(wù)活動，可以創(chuàng)造出新的商機(jī)。 持久性是指推薦系統(tǒng)產(chǎn)生的推薦是基于客戶當(dāng)前的會話產(chǎn)生的相關(guān)信息還是包括客戶歷史會話的信息進(jìn)行推薦的。 也稱為協(xié)同過濾 推薦系統(tǒng)。算法解決了傳統(tǒng)協(xié)同過濾算法中相似性度量方法“過嚴(yán)”的問題，在過濾初期顯著地提高了推薦質(zhì)量。他們還發(fā)現(xiàn)，推薦系統(tǒng)相比于專家更有影響力。最常見的問題包括推薦的多樣性、數(shù)據(jù)的稀疏性以及系統(tǒng)的可擴(kuò)展問題 [25]。但是基于內(nèi)容的推薦技術(shù)不能跨越種類進(jìn)行推薦，同時需要參考用戶的歷史信息。所以，基于知識的推薦技術(shù)采用的網(wǎng)絡(luò)用戶資料，能支撐推理的知識結(jié)構(gòu)。所以這種技術(shù)也存在稀疏性的問題。通過這個技術(shù)，可以識別出鄰居用戶。當(dāng)然，大數(shù)據(jù)的處理工具也在快速發(fā)展演化，各種大型系統(tǒng)工程均有可能引入大數(shù)據(jù)的轉(zhuǎn)化中。應(yīng)用大數(shù)據(jù)，大公司向廣告商明確什么是正確的時間，正確的用戶是誰，應(yīng)該發(fā)表的正確內(nèi)容是什么等，這也迎合了廣告商的需求。 在普通廉價的硬件上運(yùn)行的時候：把數(shù)據(jù)分布在大量廉價的機(jī)器上可以保證單個組建失效時整個系統(tǒng)仍然正常工作。 NameNode 把這些信息回傳給客戶端，并使用租約機(jī)制通過心跳包告訴 DataNode 客戶端會來存儲數(shù)據(jù)。輸入文件首先會被劃分為多個分塊，以便 Map 任務(wù)能夠用并發(fā)的方式進(jìn)行，文件的劃分過程并不考慮輸入文件的內(nèi)部邏輯結(jié)構(gòu)，具體的劃分模式可以讓使用 北 京 交 通 大 學(xué) 專 業(yè) 碩 士 學(xué) 位 論 文 … 電 子 商 務(wù) 個 性 化 推 薦 理 論 介 紹 18 者自行定義。大數(shù)據(jù)相關(guān)社區(qū)日益成熟，各種數(shù)據(jù)中心不 斷建立，降低了大數(shù)據(jù)技術(shù)的技術(shù)門檻。當(dāng)前的推薦系統(tǒng)已經(jīng)不是簡簡單單的一個后臺邏輯或者是一個函數(shù)調(diào)用可以完成的。從這些用戶歷史購買數(shù)據(jù)以及瀏覽行為等，可以對用戶進(jìn)行更加深入的個性化推薦。當(dāng)所有中間數(shù)據(jù)都被 Reduce工作站讀取后，工作站利用中間關(guān)鍵字把數(shù)據(jù)分組，擁有相同關(guān)鍵字的數(shù)據(jù)被分到同一組，并把這些數(shù)據(jù)按照排序進(jìn)行歸類。數(shù)據(jù)是塊存儲的，客戶端首先訪問 NameNode，取得文件的元數(shù)據(jù)，包括數(shù)據(jù)塊存儲的位置信息，然后選擇每一個塊的距離 client 最近的位置（這個最近的位置是通信速率而不是物理位置）。 由于元數(shù)據(jù)非常珍貴，元數(shù)據(jù)的保護(hù)工作尤為重要，幾種方式如下 [35]： 元數(shù)據(jù)備份。 Hadoop 的思想是基于 Google 發(fā)表的某篇論文，關(guān)于文件系統(tǒng)的文獻(xiàn) [32]和以及關(guān)于分布式處理框架的文獻(xiàn) [33]?？蓮暮Ａ坑脩魯?shù)據(jù)中深度分析、挖掘出用戶的消費(fèi)習(xí)慣和行為方式，從而實(shí)施精準(zhǔn)營銷及網(wǎng)絡(luò)優(yōu)化，今兒掌控數(shù)據(jù)增值的關(guān)鍵。并且，組合策略和被組合的推薦技術(shù)存在一定的聯(lián)系，在采用組合推薦技術(shù)時必須不能忘了組合策略。 基于人口統(tǒng)計(jì)信息、內(nèi)容、協(xié)同過濾的推薦技術(shù)一般是建立在網(wǎng)絡(luò)用戶的歷史數(shù)據(jù)上的，而且需要網(wǎng)絡(luò)用戶顯式的輸入數(shù)據(jù)，所以需要大量的時間來學(xué)習(xí)。所以，對于其洗屬性和計(jì)算能力，改變在所難免。對用戶的統(tǒng)計(jì)信息建立了用戶的模型，與協(xié)同過濾技術(shù)類似，但使用不同的數(shù)據(jù) [27]。使用計(jì)算之前的模型，可以很快的得到推薦結(jié)果?？焖俨蹲较M(fèi)者的潛在需求是企業(yè)主要面臨的一個難題，通過深度的數(shù)據(jù)挖掘發(fā)現(xiàn)用戶興趣模型，并且能確定特定消費(fèi)群體的潛在需求，實(shí)現(xiàn)價值的傳遞。實(shí)驗(yàn)結(jié)果證明該混合推薦的算法能夠保證推薦的精準(zhǔn)度，提高新產(chǎn)品的推薦概率。 持久性比較差：目前國內(nèi)的個性化推薦技術(shù)是依賴用戶當(dāng)前的會話，并沒有采用以前的歷史訪問記錄，使得個性化推薦系統(tǒng)的持續(xù)性比較低。這種推薦技術(shù)是與特定用戶無關(guān)，獨(dú)立于目標(biāo)用戶，對所有用戶推薦的內(nèi)容都是相同的。這種情況下，是否主動送出的推薦就顯得尤為重要。圖 22 推薦的是購買過這個這個商品的人同時還購買的其他商品，圖 23 則推薦瀏覽過這個商品的人同時還購買的其他商品。這 一過程 無疑會使淹沒 在 大量產(chǎn)品信息 中 的消費(fèi)者不斷流失。 2．由基于關(guān)鍵詞或者主題詞檢索的服務(wù)轉(zhuǎn)為基于語義的智能檢索服務(wù)。隨著電子商務(wù)網(wǎng)站的競爭日益激烈，如何鎖定網(wǎng)站的目標(biāo)受眾并為其推薦合適的產(chǎn)品，增加用戶粘度和提高網(wǎng)站的交叉銷售能力，成為電子商務(wù)網(wǎng)站在競爭中勝出的關(guān)鍵。基于互聯(lián)網(wǎng)的虛擬企業(yè)不再需要傳統(tǒng)物理環(huán)境中所需的實(shí)物投資，企業(yè)與客戶、供應(yīng)商等建立起更加直接的聯(lián)系。我要在這里說聲：媽媽 爸爸 ，你們辛苦了。 專業(yè)碩士學(xué)位論文 基于大數(shù)據(jù)技術(shù)的電子商務(wù)個性化推薦系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn) Design and Realization for Customized Remendation System of ECommerce based on Big Data Technology 作者： XXX 導(dǎo)師： XXX 北京交通大學(xué) 2020 年 10 月 學(xué)位論文版權(quán)使用授權(quán)書 本學(xué)位論文作者完全了解北京交通大學(xué)有關(guān)保留、使用學(xué)位論文的規(guī)定。他們 一直在 支持 著 我，在我取得 一些 成績的時候，贊揚(yáng)我，同時 又告誡我要踏實(shí) 謙虛 ?；ヂ?lián)網(wǎng)的發(fā)展對企業(yè)發(fā)展和個人生活都產(chǎn)生了深遠(yuǎn)的影響。海量數(shù)據(jù)在為 電子商務(wù)網(wǎng)站制定決策提供越來越充分的信息的同時，也給 電子商務(wù) 網(wǎng)站 的個性化推薦服務(wù)帶來非常大的 挑戰(zhàn) 。被動服務(wù)是指客戶主動到企業(yè)電子商城中發(fā)現(xiàn)自己需要的商品，更具有目的性、針對性，但是對于企業(yè)來說，嚴(yán)重忽視了客戶巨大的潛在需求，通過主動服務(wù)模式，將與每一個用戶潛在的信息需求更精確的發(fā)現(xiàn)，推薦給用戶，一方面方便了用戶，甚至給用戶意想不到的需求驚喜，另一方面增強(qiáng)了企業(yè)銷售的強(qiáng)度。隨著電子商務(wù)規(guī)模 不斷擴(kuò)大，商品 數(shù)量 和種類 不斷 增長，顧客需要花費(fèi)大量的時間 尋找 自己想買的商品。當(dāng)你在購買一個商品的時候，網(wǎng)站會向你推薦相關(guān)商品。此外，瀏覽某個電商網(wǎng)站時，使用者根本不知道這個商家提供了某項(xiàng)商品，當(dāng)然更不可能去搜索尋找了。 以其他客戶對商品做出的評價為基礎(chǔ)，向用戶做出推薦，或者根據(jù)電子商務(wù)系統(tǒng)的銷售排行等與特定用戶無關(guān)的輸入信息進(jìn)行推薦。 個性化推薦系統(tǒng)的智能化程度較低：目前現(xiàn)有的電子商務(wù)企業(yè)需要客戶多次的訪問，同時需要輸入相關(guān)的個人信息，推薦系統(tǒng)才可以基于這些信給用戶提供個性化的服務(wù)，然而這樣增加了用戶的負(fù)擔(dān)，降低了用戶體驗(yàn)。 文獻(xiàn)【 22】中，郭艷紅運(yùn)用基于內(nèi)容預(yù)測的方法，對電子商務(wù)推薦系統(tǒng)內(nèi)未被用戶評價過的產(chǎn)品進(jìn)行評分預(yù)測，通過 2 種優(yōu)化步驟，把預(yù)測不準(zhǔn)確的用戶評分進(jìn)行過濾，然后在此基礎(chǔ)上使用協(xié)同過濾的技術(shù)產(chǎn)生產(chǎn)品推薦，使傳統(tǒng)個性推薦算法中無法推薦給用戶的產(chǎn)品能夠 推薦給用戶。移動電子商務(wù)是未來電子商務(wù)的一個發(fā)展趨勢。 為了解決基于用戶的協(xié)同過濾推薦技術(shù)在實(shí)際應(yīng)用中出現(xiàn)的數(shù)據(jù)稀疏，本文通過建立基于項(xiàng)目的推薦模型來緩解數(shù)據(jù)稀疏的問題。基于人口統(tǒng)計(jì)信息的推薦技術(shù)最早出現(xiàn)于 1979 年，當(dāng)時通過人機(jī)對話可以獲得個人基本信息，并且可以按照個人信息分類來對個人推薦書籍。而且，計(jì)算機(jī)能力一定程度上影響了這種技術(shù)系統(tǒng)的性能，項(xiàng)目數(shù)量的增長會導(dǎo)致算法需要運(yùn)算次數(shù)的增長。但是這種技術(shù)缺少靈活性，僅僅適用于很少幾個特征的項(xiàng)目，難以適應(yīng)不簡單而且非結(jié)構(gòu)化的項(xiàng)目。由于存在數(shù)據(jù)保密等問題，因此只 研究了比較少的基于用戶人口的統(tǒng)計(jì)信息的推薦技術(shù) 。隨著物聯(lián)網(wǎng)的發(fā)展，依靠大數(shù)據(jù)的發(fā)展能夠從資源的方面很好的支撐物聯(lián)網(wǎng)。同時它很受歡迎