旅游大數(shù)據(jù)平臺方案-免費閱讀
【正文】 15數(shù)據(jù)管理模塊負責進行數(shù)據(jù)的管理功能，分為外部數(shù)據(jù)管理和內(nèi)置數(shù)據(jù)源數(shù)據(jù)管理兩部分，包括數(shù)據(jù)的引入和授權(quán)等功能。該檢驗方法是比較一個頻率分布f(x)與理論分布g(x)或者兩個觀測值分布的檢驗方法。通常情況下這個特定的理論分配指的是均勻分配63統(tǒng)計分析卡方獨立性檢驗卡方獨立性檢測，ChiSquare Independence Test，驗證從兩個變量抽出的配對觀察值組是否互相獨立。61統(tǒng)計分析方差齊性檢驗由兩樣本方差推斷兩總體方差是否相同。該組件目前只支持后者。TFIDF加權(quán)的各種形式常被搜索引擎應(yīng)用，作為文件與用戶查詢之間相關(guān)程度的度量或評級。 LDA首先由David M. Blei、Andrew Y. Ng和Michael I. Jordan于2003年提出，目前在文本挖掘領(lǐng)域包括文本主題識別、文本分類以及文本相似度計算方面都有應(yīng)用。正則化是利用先驗知識，對模型增加約束，防止過擬合。17關(guān)聯(lián)規(guī)則算法頻繁項集挖掘算法（FPGrowth）主要分為兩個步驟：FPtree構(gòu)建、遞歸挖掘FPtree。如老師需要旅游服務(wù)評價類數(shù)據(jù)進行服務(wù)情況的分析和預(yù)測，可以直接通過數(shù)據(jù)超市內(nèi)的數(shù)據(jù)定制模塊提出數(shù)據(jù)需求，經(jīng)數(shù)據(jù)超市平臺管理員匯總后，可以通過數(shù)據(jù)超市平臺進行數(shù)據(jù)的準備，交給老師進行使用。 科研數(shù)據(jù)上傳科研老師已有的數(shù)據(jù)可以上傳到平臺參與數(shù)據(jù)計算，老師可以在平臺上建立數(shù)據(jù)表，然后把本地數(shù)據(jù)文件上傳到數(shù)據(jù)表中。 科研平臺的功能 科研項目管理在科研平臺中，科研計算是以計算項目來保存的，包括了計算項目建立、計算項目維護、計算項目設(shè)計、計算項目運行和結(jié)果可視化等幾個環(huán)節(jié)。這個實體控制整個集群并管理應(yīng)用程序向基礎(chǔ)計算資源的分配。HDFS放寬了一部分POSIX約束，來實現(xiàn)流式讀取文件系統(tǒng)數(shù)據(jù)的目的。每個計算節(jié)點周期性地和主節(jié)點通信，還時不時和客戶端代碼以及其他計算節(jié)點通信。三. 數(shù)據(jù)挖掘與大數(shù)據(jù)分析科研平臺建設(shè)方案 大數(shù)據(jù)科研平臺設(shè)備架構(gòu) 主節(jié)點和備份主節(jié)點主節(jié)點負責整個分布式大數(shù)據(jù)平臺的運行。項目的總體架構(gòu)如圖1所示。旅游大數(shù)據(jù)的解決之道，在于整合國內(nèi)多途徑的大數(shù)據(jù)源，形成旅游大數(shù)據(jù)生態(tài)，為國內(nèi)旅游業(yè)提供大數(shù)據(jù)解決方案，促進旅游業(yè)的轉(zhuǎn)型升級。中國和印度在大數(shù)據(jù)領(lǐng)域的硬件投資則非常明顯，更傾向于數(shù)據(jù)中心相關(guān)的基礎(chǔ)架構(gòu)的投資。應(yīng)用場景也在逐漸拓展，從結(jié)構(gòu)化數(shù)據(jù)的分析，發(fā)展到半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)的分析，尤其是社交媒體信息分析受到用戶的更多關(guān)注。根據(jù) IDC 《數(shù)字宇宙》(Digital Universe)研究報告顯示，2020 年全球新建和復(fù)制的信息量已經(jīng)超過 40ZB，是2015年的12倍。數(shù)據(jù)量的增長是一種非線性的增長速度。過去一年中用戶對社交數(shù)據(jù)的收集和分析應(yīng)用的關(guān)注度增加明顯。并且由于計算技術(shù)的發(fā)展，對于大數(shù)據(jù)的分析也成為了可能。目前，在我國高校的專業(yè)設(shè)置上與數(shù)據(jù)挖掘與大數(shù)據(jù)分析相關(guān)的學(xué)科專業(yè)包括：計算機科學(xué)與技術(shù)、信息管理與信息系統(tǒng)、統(tǒng)計學(xué)、經(jīng)濟、金融、貿(mào)易、生物信息、旅游以及公共衛(wèi)生等。2） 大數(shù)據(jù)分析功能規(guī)劃建設(shè)以商業(yè)版Hadoop為核心的大數(shù)據(jù)分析平臺，系統(tǒng)提供MapReduce以及Spark等大數(shù)據(jù)挖掘功能。 接口節(jié)點終端用戶通過接口節(jié)點連接和使用分布式大數(shù)據(jù)平臺，提交任務(wù)并獲得結(jié)果，并可以用其他數(shù)據(jù)分析工具做進一步處理，與外界進行數(shù)據(jù)交互（如連接關(guān)系型數(shù)據(jù)庫）。但同時，它和其他的分布式文件系統(tǒng)的區(qū)別也是很明顯的。另一個不同的是HBase基于列的而不是基于行的模式。 其優(yōu)點是學(xué)習(xí)成本低，可以通過類SQL語句快速實現(xiàn)簡單的MapReduce統(tǒng)計，不必開發(fā)專門的MapReduce應(yīng)用，十分適合數(shù)據(jù)倉庫的統(tǒng)計分析。數(shù)據(jù)超市平臺利用以下模式，通過外部的資源，為高校的科研工作提供優(yōu)質(zhì)數(shù)據(jù)資源：1）通過商務(wù)合作的模式，直接與數(shù)據(jù)所有權(quán)擁有者進行靈活的商務(wù)溝通，獲得科研的數(shù)據(jù)使用授權(quán)；2）邀請行業(yè)內(nèi)優(yōu)質(zhì)的第三方數(shù)據(jù)服務(wù)提供商入駐數(shù)據(jù)超市平臺；3）通過數(shù)據(jù)采集的方式，經(jīng)過數(shù)據(jù)尋源、采集、治理、清洗后，引入具有公開版權(quán)的數(shù)據(jù)資源； 所有引入數(shù)據(jù)都會經(jīng)過數(shù)據(jù)工程師的嚴格審核，保證數(shù)據(jù)的清潔和質(zhì)量，可以直接用于數(shù)據(jù)計算。四. 平臺數(shù)據(jù)集清單科研平臺為方便用戶快速開展科學(xué)研究、生成科研數(shù)據(jù)報告，平臺提供了一些通用的數(shù)據(jù)集，包括各類標準科研數(shù)據(jù)等。11分類算法BP神經(jīng)網(wǎng)絡(luò)以感知器為基函數(shù)，通過將當前基函數(shù)的的輸出作為下一個感知器的輸入，從而實現(xiàn)對離散型分類變量的分類12分類算法貝葉斯分類基于貝葉斯定理與特征條件獨立假設(shè)，對給定數(shù)據(jù)集，學(xué)習(xí)輸入輸出的聯(lián)合概率分布，利用貝葉斯原理輸出后驗概率最大的預(yù)測類作為預(yù)測結(jié)果13分類算法支持向量機分類在感知機的基礎(chǔ)上，通過在特征空間上間隔最大和核技巧，實現(xiàn)對二類目標變量分類14聚類算法K均值聚類將無標記樣本根據(jù)特征空間中的數(shù)據(jù)結(jié)構(gòu)，劃入K個不相交的子集中15聚類算法二分K均值聚類K均值聚類的改進版，能克服原算法收斂局部最小的缺點，每次選其中一簇分成兩簇。21預(yù)測評估聚類預(yù)測及評估聚類算法中，在已有訓(xùn)練數(shù)據(jù)訓(xùn)練模型的基礎(chǔ)上，將未訓(xùn)練的數(shù)據(jù)代入算法中，預(yù)測結(jié)果與實際數(shù)據(jù)類型比對評估，檢測模型的性能。32數(shù)據(jù)預(yù)處理Select數(shù)據(jù)庫查詢操作， 查詢 某限定條件下的樣本33數(shù)據(jù)預(yù)處理Select_D
公司管理相關(guān)推薦
鄂ICP備17016276號-1