旅游大數(shù)據(jù)平臺(tái)方案-在線瀏覽
2025-07-01 05:09本頁(yè)面
【正文】 配置、服務(wù)配置等，提供網(wǎng)頁(yè)窗口界面提高了系統(tǒng)配置的可見度，而且降低了集群參數(shù)設(shè)置的復(fù)雜度。 計(jì)算節(jié)點(diǎn)分布式大數(shù)據(jù)平臺(tái)包含了多個(gè)計(jì)算節(jié)點(diǎn)。每個(gè)計(jì)算節(jié)點(diǎn)周期性地和主節(jié)點(diǎn)通信，還時(shí)不時(shí)和客戶端代碼以及其他計(jì)算節(jié)點(diǎn)通信。 大數(shù)據(jù)科研平臺(tái)底層架構(gòu)大數(shù)據(jù)科研平臺(tái)低層架構(gòu)以我司自主研發(fā)的商業(yè)版Hadoop為基礎(chǔ)架構(gòu)，包含和大數(shù)據(jù)分析、數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí)等功能模塊，并以HDFS以及Hbase作為存儲(chǔ)基礎(chǔ)。它和現(xiàn)有的分布式文件系統(tǒng)有很多共同點(diǎn)。HDFS是一個(gè)高度容錯(cuò)性的系統(tǒng)，適合部署在廉價(jià)的機(jī)器上。HDFS放寬了一部分POSIX約束，來實(shí)現(xiàn)流式讀取文件系統(tǒng)數(shù)據(jù)的目的。就像Bigtable利用了Google文件系統(tǒng)（所提供的分布式數(shù)據(jù)存儲(chǔ)一樣，HBase在Hadoop之上提供了類似于BigTable的能力。HBase不同于一般的關(guān)系數(shù)據(jù)庫(kù)，它是一個(gè)適合于非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)的數(shù)據(jù)庫(kù)。 分布式資源調(diào)度管理——YARN 框架。這個(gè)實(shí)體控制整個(gè)集群并管理應(yīng)用程序向基礎(chǔ)計(jì)算資源的分配。ResourceManager 還與 ApplicationMaster 一起分配資源，與 NodeManager 一起啟動(dòng)和監(jiān)視它們的基礎(chǔ)應(yīng)用程序。 交互式SQL引擎——HiveHive是基于Hadoop的一個(gè)數(shù)據(jù)倉(cāng)庫(kù)工具，可以將結(jié)構(gòu)化的數(shù)據(jù)文件映射為一張數(shù)據(jù)庫(kù)表，并提供簡(jiǎn)單的SQL查詢功能，可以將SQL語(yǔ)句轉(zhuǎn)換為MapReduce任務(wù)進(jìn)行運(yùn)行。 內(nèi)存計(jì)算——SparkSpark是UC Berkeley AMP實(shí)驗(yàn)室所開源的類Hadoop MapReduce的通用的并行計(jì)算框架。 科研平臺(tái)的功能 科研項(xiàng)目管理在科研平臺(tái)中，科研計(jì)算是以計(jì)算項(xiàng)目來保存的，包括了計(jì)算項(xiàng)目建立、計(jì)算項(xiàng)目維護(hù)、計(jì)算項(xiàng)目設(shè)計(jì)、計(jì)算項(xiàng)目運(yùn)行和結(jié)果可視化等幾個(gè)環(huán)節(jié)。計(jì)算項(xiàng)目完成后，可以訓(xùn)練出算法模型，在新的計(jì)算項(xiàng)目中使用已經(jīng)訓(xùn)練好的模型進(jìn)行數(shù)據(jù)的預(yù)測(cè)，形成一次訓(xùn)練多次使用的算法實(shí)現(xiàn)。目前在互聯(lián)網(wǎng)等渠道是很難找到科研工作所需的數(shù)據(jù)源，尤其是經(jīng)過數(shù)據(jù)清洗和治理后的高質(zhì)量數(shù)據(jù)。如平臺(tái)內(nèi)置的專利數(shù)據(jù)，包括了國(guó)內(nèi)近2000萬各類商業(yè)數(shù)據(jù)，并且不斷更新，可以直接用于旅游各方面的科學(xué)研究。 科研數(shù)據(jù)上傳科研老師已有的數(shù)據(jù)可以上傳到平臺(tái)參與數(shù)據(jù)計(jì)算，老師可以在平臺(tái)上建立數(shù)據(jù)表，然后把本地?cái)?shù)據(jù)文件上傳到數(shù)據(jù)表中。 集成算法組件為了便于科研老師快速進(jìn)行科研數(shù)據(jù)的加工、分析和計(jì)算，數(shù)據(jù)超市平臺(tái)集成了50多種通用大數(shù)據(jù)算法組件，包括回歸算法、分類算法、聚類算法、關(guān)聯(lián)規(guī)劃算法、推薦算法、預(yù)測(cè)評(píng)估、數(shù)據(jù)預(yù)處理算法、機(jī)器學(xué)習(xí)等。 科研平臺(tái)可視化功能提供20余種可視化展示模式，一鍵選擇，一鍵切換，可按使用者需求展示大數(shù)據(jù)之美，根據(jù)需要展示對(duì)應(yīng)的緯度，并可以一鍵生成高質(zhì)量PNG文件，保存到本地后可用于科研報(bào)告和論文等。平臺(tái)也內(nèi)置了數(shù)百款可選數(shù)據(jù)集，分為多個(gè)數(shù)據(jù)包，總量近10TB，并且隨商務(wù)和采集工作推進(jìn)，仍在不斷增加中。如老師需要旅游服務(wù)評(píng)價(jià)類數(shù)據(jù)進(jìn)行服務(wù)情況的分析和預(yù)測(cè)，可以直接通過數(shù)據(jù)超市內(nèi)的數(shù)據(jù)定制模塊提出數(shù)據(jù)需求，經(jīng)數(shù)據(jù)超市平臺(tái)管理員匯總后，可以通過數(shù)據(jù)超市平臺(tái)進(jìn)行數(shù)據(jù)的準(zhǔn)備，交給老師進(jìn)行使用。2回歸算法決策樹回歸利用平方誤差最小化準(zhǔn)則，進(jìn)行特征選擇，生成二叉樹，從而對(duì)對(duì)數(shù)值型變量進(jìn)行擬合3回歸算法隨機(jī)森林回歸以回歸決策樹為基模型，將一定數(shù)量的基模型組合對(duì)數(shù)值型變量擬合，并對(duì)基模型的預(yù)測(cè)結(jié)果平均作為算法的最終結(jié)果4回歸算法梯度提升回歸樹以二叉回歸決策樹為基函數(shù)的加法模型與前向分步結(jié)合的算法 ，通過對(duì)損失函數(shù)在當(dāng)前模型的預(yù)測(cè)值的梯度作為近似殘差進(jìn)行擬合，從而對(duì)數(shù)值型變量預(yù)測(cè)。6分類算法邏輯回歸多分類邏輯回歸多分類,k個(gè)獨(dú)立的 logistic回歸分類器與onevsall結(jié)合的分類模型,分類對(duì)象類別之間不是互斥的7分類算法Softmax回歸多分類Softmax回歸就是邏輯回歸的一般形式,是logistic回歸模型在多分類問題上的推廣,分類對(duì)象類別是互斥的8分類算法決策樹分類利用信息增益準(zhǔn)則或基尼指數(shù)最小化準(zhǔn)則，進(jìn)行特征選擇，生成二叉樹，從而對(duì)對(duì)目標(biāo)變量為離散變量的數(shù)據(jù)進(jìn)行分類9分類算法隨機(jī)森林分類以分類決策樹為基模型，將一定數(shù)量的基模型組合對(duì)離散型的目標(biāo)變量擬合，并根據(jù)基模型的預(yù)測(cè)結(jié)果進(jìn)行投票，以占多數(shù)結(jié)果的種類作為算法的最終結(jié)果10分類算法梯度提升分類樹以二叉分類決策樹為基函數(shù)的加法模型與前向分步結(jié)合的算法，通過對(duì)損失函數(shù)在當(dāng)前模型的預(yù)測(cè)值的梯度作為近似殘差進(jìn)行擬合，從而對(duì)分類型目標(biāo)變量預(yù)測(cè)。16聚類算法高斯混合模型對(duì)于符合高斯分布的數(shù)據(jù)，假設(shè)存在K個(gè)高斯模型，將數(shù)據(jù)反復(fù)迭代，期望極大化。17關(guān)聯(lián)規(guī)則算法頻繁項(xiàng)集挖掘算法（FPGrowth）主要分為兩個(gè)步驟：FPtree構(gòu)建、遞歸挖掘FPtree。18推薦算法協(xié)同過濾算法協(xié)同過濾是在海量數(shù)據(jù)中挖掘出某部分與目標(biāo)客戶行為類似的數(shù)據(jù)，并根據(jù)某種指標(biāo)對(duì)其進(jìn)行排序。20預(yù)測(cè)評(píng)估回歸預(yù)測(cè)及評(píng)估回歸算法中，在已有訓(xùn)練數(shù)據(jù)訓(xùn)練模型的基礎(chǔ)上，將未訓(xùn)練的數(shù)據(jù)代入算法中，預(yù)測(cè)結(jié)果與實(shí)際目標(biāo)變量比對(duì)評(píng)估，檢測(cè)模型的性能。22預(yù)測(cè)評(píng)估推薦評(píng)估推薦算法中，在已有訓(xùn)練數(shù)據(jù)訓(xùn)練模型的基礎(chǔ)上，將未訓(xùn)練的數(shù)據(jù)代入算法中，預(yù)測(cè)結(jié)果與物品類目比對(duì)評(píng)估，檢測(cè)模型的性能。正則化是利用先驗(yàn)
公司管理相關(guān)推薦
鄂ICP備17016276號(hào)-1