旅游大數(shù)據(jù)平臺(tái)方案-展示頁
2025-05-23 05:09本頁面
【正文】 源功能規(guī)劃系統(tǒng)具有24個(gè)Intel Xeon E5 CPU計(jì)算能力，提供超過40TB的存儲(chǔ)能力以及1T以上的內(nèi)存，可滿足1000任務(wù)共時(shí)計(jì)算內(nèi)能，方便擴(kuò)充。2） 大數(shù)據(jù)分析功能規(guī)劃建設(shè)以商業(yè)版Hadoop為核心的大數(shù)據(jù)分析平臺(tái)，系統(tǒng)提供MapReduce以及Spark等大數(shù)據(jù)挖掘功能。 科研平臺(tái)功能規(guī)劃本科研平臺(tái)針對(duì)數(shù)據(jù)挖掘有大數(shù)據(jù)分析研究內(nèi)容，兼顧科研與教學(xué)的需求，既能滿足科研工作中對(duì)大數(shù)據(jù)分析高性能平臺(tái)要求也具有教學(xué)實(shí)驗(yàn)平臺(tái)簡單易用的特點(diǎn)。系統(tǒng)整體由千兆核心交換機(jī)作為核心節(jié)點(diǎn)，并以兩個(gè)千兆接入交換機(jī)作為科研與實(shí)驗(yàn)環(huán)境的交換節(jié)點(diǎn)。二. 數(shù)據(jù)挖掘與大數(shù)據(jù)分析科研平臺(tái)總體規(guī)劃 科研平臺(tái)規(guī)劃科研平臺(tái)建設(shè)的基本原則是科研為主，同時(shí)為教學(xué)實(shí)驗(yàn)提供部分計(jì)算資源及安全資源，系統(tǒng)在授權(quán)范圍內(nèi)共享科研系統(tǒng)的計(jì)算資源，提高教學(xué)實(shí)驗(yàn)的真實(shí)性。目前，在我國高校的專業(yè)設(shè)置上與數(shù)據(jù)挖掘與大數(shù)據(jù)分析相關(guān)的學(xué)科專業(yè)包括：計(jì)算機(jī)科學(xué)與技術(shù)、信息管理與信息系統(tǒng)、統(tǒng)計(jì)學(xué)、經(jīng)濟(jì)、金融、貿(mào)易、生物信息、旅游以及公共衛(wèi)生等?？蒲衅脚_(tái)不僅要提供基礎(chǔ)的編程環(huán)境，還要提供大數(shù)據(jù)的運(yùn)算環(huán)境以及用于科學(xué)研究的實(shí)戰(zhàn)大數(shù)據(jù)案例。 數(shù)據(jù)挖掘與大數(shù)據(jù)分析科研平臺(tái)建設(shè)的必要性數(shù)據(jù)挖掘與大數(shù)據(jù)分析是以計(jì)算機(jī)基礎(chǔ)為基礎(chǔ)，以挖掘算法為核心，緊密面向行業(yè)應(yīng)用的一門綜合性學(xué)科。當(dāng)前，旅游業(yè)也在“新常態(tài)”下迎來了升級(jí)的挑戰(zhàn)和變革的機(jī)遇，新常態(tài)對(duì)于一般的經(jīng)濟(jì)部門是經(jīng)濟(jì)速度放慢、人均GDP增速減小，很多傳統(tǒng)行業(yè)在調(diào)整結(jié)構(gòu)，但新常態(tài)對(duì)旅游行業(yè)卻是速度加快的。并且由于計(jì)算技術(shù)的發(fā)展，對(duì)于大數(shù)據(jù)的分析也成為了可能。隨著互聯(lián)網(wǎng)的發(fā)展，越來越多的低價(jià)值用戶進(jìn)入到商業(yè)體系中，這部分用戶成為商業(yè)企業(yè)競爭的目標(biāo)。在傳統(tǒng)的數(shù)據(jù)分析與商業(yè)數(shù)據(jù)挖掘中，人們通常遵循二八原則。在亞太區(qū)，澳大利亞和新加坡的用戶對(duì)大數(shù)據(jù)的相關(guān)投資主要在咨詢服務(wù)方面，更關(guān)注如何根據(jù)新的最佳實(shí)踐需求設(shè)計(jì)和實(shí)施方案。過去一年中用戶對(duì)社交數(shù)據(jù)的收集和分析應(yīng)用的關(guān)注度增加明顯。目前現(xiàn)有的大數(shù)據(jù)項(xiàng)目主要集中在業(yè)務(wù)流程優(yōu)化以及提高客戶滿意度方面的應(yīng)用。用戶們開始評(píng)估以Hadoop、數(shù)據(jù)庫一體機(jī)以及內(nèi)存計(jì)算技術(shù)為代表的大數(shù)據(jù)相關(guān)新型技術(shù)。在中國，從互聯(lián)網(wǎng)企業(yè)，到電信、金融、政府這樣的傳統(tǒng)行業(yè)，都開始采用各種大數(shù)據(jù)和分析技術(shù)，開始了自己的大數(shù)據(jù)實(shí)踐之旅。數(shù)據(jù)量的增長是一種非線性的增長速度。IDC亞太區(qū)(不含日本)最新關(guān)于大數(shù)據(jù)和分析(BDA)領(lǐng)域的市場研究表明，%。而中國的數(shù)據(jù)量則會(huì)在2020年超過8ZB，比2015年增長22倍。旅游研究院大數(shù)據(jù)挖掘與分析科研平臺(tái)建設(shè)方案 一. 背景 數(shù)據(jù)挖掘和大數(shù)據(jù)分析行業(yè)背景和發(fā)展趨勢移動(dòng)互聯(lián)網(wǎng)、電子商務(wù)以及社交媒體的快速發(fā)展使得企業(yè)需要面臨的數(shù)據(jù)量成指數(shù)增長。根據(jù) IDC 《數(shù)字宇宙》(Digital Universe)研究報(bào)告顯示，2020 年全球新建和復(fù)制的信息量已經(jīng)超過 40ZB，是2015年的12倍。數(shù)據(jù)量的飛速增長帶來了大數(shù)據(jù)技術(shù)和服務(wù)市場的繁榮發(fā)展。該市場涵蓋了存儲(chǔ)、服務(wù)器、網(wǎng)絡(luò)、軟件以及服務(wù)市場。據(jù)IDC分析報(bào)道，最近一年來，亞太區(qū)出現(xiàn)了越來越廣泛的大數(shù)據(jù)和分析領(lǐng)域的應(yīng)用案例。應(yīng)用場景也在逐漸拓展，從結(jié)構(gòu)化數(shù)據(jù)的分析，發(fā)展到半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)的分析，尤其是社交媒體信息分析受到用戶的更多關(guān)注。最新調(diào)研結(jié)果顯示，提高競爭優(yōu)勢，降低成本以及吸引新的客戶是中國用戶對(duì)大數(shù)據(jù)項(xiàng)目最期望的三大回報(bào)。IDC發(fā)現(xiàn)很多用戶希望大數(shù)據(jù)能夠?yàn)槠髽I(yè)帶來業(yè)務(wù)創(chuàng)新，并且開始使用高級(jí)分析的解決方案以管理復(fù)雜的數(shù)據(jù)環(huán)境。未來，地理位置信息分析將會(huì)增長迅速，這也會(huì)推動(dòng)用戶對(duì)大數(shù)據(jù)安全和隱私管理的關(guān)注。中國和印度在大數(shù)據(jù)領(lǐng)域的硬件投資則非常明顯，更傾向于數(shù)據(jù)中心相關(guān)的基礎(chǔ)架構(gòu)的投資。也就是任務(wù)20%的用戶提供了80%的價(jià)值，因此利用優(yōu)勢資源用戶對(duì)于少數(shù)用戶的服務(wù)。比如電商行業(yè)，大量顧客都是傳統(tǒng)意義上的低價(jià)值客戶，數(shù)據(jù)表明對(duì)于這部分用戶價(jià)值的挖掘可以改變二八原則，甚至可達(dá)到價(jià)值的幾乎均勻分布。 旅游行業(yè)開展大數(shù)據(jù)分析及應(yīng)用的意義旅游行業(yè)有行業(yè)廣、規(guī)模大、移動(dòng)性強(qiáng)的特點(diǎn)，因此更加依賴大數(shù)據(jù)。旅游大數(shù)據(jù)的解決之道，在于整合國內(nèi)多途徑的大數(shù)據(jù)源，形成旅游大數(shù)據(jù)生態(tài)，為國內(nèi)旅游業(yè)提供大數(shù)據(jù)解決方案，促進(jìn)旅游業(yè)的轉(zhuǎn)型升級(jí)。其主要技術(shù)涉及概率論與數(shù)理統(tǒng)計(jì)、數(shù)據(jù)挖掘、算法與數(shù)據(jù)結(jié)構(gòu)、計(jì)算機(jī)網(wǎng)絡(luò)、并行計(jì)算等多個(gè)專業(yè)方向，因此該學(xué)科對(duì)于科研平臺(tái)具有較高的專業(yè)要求。這些素材的準(zhǔn)備均需完整的科研平臺(tái)作為支撐。這些專業(yè)的在使用科研平臺(tái)時(shí)的側(cè)重點(diǎn)各不相同，使用人員層次水平也不相同，對(duì)算法的使用也不相同，因此，需要建設(shè)一個(gè)便利、操作簡易、算法全面、可視化的大數(shù)據(jù)科研平臺(tái)是非常有必要的。項(xiàng)目的總體架構(gòu)如圖1所示?？蒲协h(huán)境由我司開發(fā)的商業(yè)Hadoop集群為基礎(chǔ)，上層集成便于操作的大數(shù)據(jù)科研應(yīng)用系統(tǒng)，集成10TB大數(shù)據(jù)案例集及可拖拽的數(shù)據(jù)算法和可視化算法。1） 大數(shù)據(jù)資源規(guī)劃內(nèi)置商業(yè)級(jí)數(shù)據(jù)資源，按常見科研分類規(guī)劃數(shù)據(jù)資源，可以直接用于科學(xué)研究，具有數(shù)據(jù)資源授權(quán)管控功能。系統(tǒng)具有完整的管理調(diào)度功能。三. 數(shù)據(jù)挖掘與大數(shù)據(jù)分析科研平臺(tái)建設(shè)方案 大數(shù)據(jù)科研平臺(tái)設(shè)備架構(gòu) 主節(jié)點(diǎn)和備份主節(jié)點(diǎn)主節(jié)點(diǎn)負(fù)責(zé)整個(gè)分布式大數(shù)據(jù)平臺(tái)的運(yùn)行。同時(shí)，主節(jié)點(diǎn)還負(fù)責(zé)將作業(yè)分解成子任務(wù)，并將這些子任務(wù)分配到各個(gè)計(jì)算節(jié)點(diǎn)上。 管理節(jié)點(diǎn)管理節(jié)點(diǎn)用于管理整個(gè)分布式大數(shù)據(jù)平臺(tái)，可進(jìn)行節(jié)點(diǎn)安裝、
公司管理相關(guān)推薦
鄂ICP備17016276號(hào)-1