旅游大數(shù)據(jù)平臺方案-資料下載頁
2025-05-14 05:09本頁面
【正文】 通過每個中心詞來預(yù)測其上下文窗口詞，并根據(jù)預(yù)測結(jié)果來修正中心詞的詞向量。該組件目前只支持后者。53文本分析詞頻統(tǒng)計在對文章進行分詞的基礎(chǔ)上，按行保序輸出對應(yīng)文章ID列(docId)對應(yīng)文章的詞，統(tǒng)計指定文章ID列(docId)對應(yīng)文章內(nèi)容(docContent)的詞頻。54文本分析文本摘要通過pagerank算法計算得到的重要性最高的若干句子可以當(dāng)作摘要。55文本分析關(guān)鍵詞提取全面把握文章的中心思想的基礎(chǔ)上，提取出若干個代表文章語義內(nèi)容的詞匯或短語56文本分析長句拆分根據(jù)長句中的標(biāo)點符號將句子進行分割成多個短句57工具算法sql腳本用戶可以在該組件自定義的SQL腳本從而完成對數(shù)據(jù)的轉(zhuǎn)換處理58統(tǒng)計分析單樣本T檢驗單樣本T檢驗：單樣本t檢驗（onesample ttest）又稱單樣本均數(shù)t檢驗，適用于樣本均數(shù)x與已知總體均數(shù)u0的比較，其比較目的是檢驗樣本均數(shù)x所代表的總體均數(shù)u0是否與已知總體均數(shù)u0有差別。已知總體均數(shù)u0，一般為標(biāo)準(zhǔn)值、理論值或經(jīng)大量觀察得到的較穩(wěn)定的指標(biāo)值。T檢驗的前提是樣本總體服從正態(tài)分布59統(tǒng)計分析配對樣本均數(shù)T檢驗配對樣本均數(shù)t檢驗（paired t test）,又稱非獨立兩樣本均數(shù)t檢驗，適用于配對設(shè)計計量資料均數(shù)的比較，其比較目的是檢驗兩相關(guān)樣本均數(shù)所代表的未知總體均數(shù)是否有差別。60統(tǒng)計分析兩獨立樣本均數(shù)T檢驗兩獨立樣本t檢驗(twosample ttest),又稱成組t檢驗，它適用于完全隨機設(shè)計的兩樣本均數(shù)的比較，其目的是檢驗兩樣本所來自總體的均數(shù)是否相等。完全隨機設(shè)計是將受試對象隨機地分配到兩組中，每組對象分別接受不同的處理，分析比較兩組的處理效應(yīng)。61統(tǒng)計分析方差齊性檢驗由兩樣本方差推斷兩總體方差是否相同。有三種方差齊性檢驗的方法可供選擇。選用Bartlett檢驗：如果我們的數(shù)據(jù)服從正態(tài)分布，那么這種方法將是最為適用的。對于正態(tài)分布的數(shù)據(jù)，這種檢驗極為靈敏；而當(dāng)數(shù)據(jù)為非正態(tài)分布時，使用該方法則很容易導(dǎo)致假陽性誤判。Levene檢驗：當(dāng)樣本數(shù)據(jù)偏態(tài)或者非正態(tài)性的情況下，選用Levene檢驗魯棒性與精度比Bartlett檢驗好。FlignerKilleen檢驗： 這是一個非參數(shù)的檢驗方法，完全不依賴于對分布的假設(shè)。62統(tǒng)計分析卡方適配度檢驗卡方適配度檢驗，ChiSquare Goodness of Fit 。其 H0 假設(shè)（虛無假設(shè)，null hypothesis）為一個樣本中已發(fā)生事件的次數(shù)分配會服從某個特定的理論分配。通常情況下這個特定的理論分配指的是均勻分配63統(tǒng)計分析卡方獨立性檢驗卡方獨立性檢測，ChiSquare Independence Test，驗證從兩個變量抽出的配對觀察值組是否互相獨立。其虛無假設(shè)是：兩個變量呈統(tǒng)計獨立性。64統(tǒng)計分析百分位對一個存在的表，單列數(shù)據(jù)計算百分位65統(tǒng)計分析皮爾森相關(guān)系數(shù)矩陣計算兩兩字段（數(shù)值型）的皮爾森相關(guān)系數(shù)。66統(tǒng)計分析全表統(tǒng)計分別計算全表的每個字段的統(tǒng)計信息，包括缺省值、最大最小值、方差、偏值等等。67統(tǒng)計分析Quantile分位數(shù)統(tǒng)計信息指標(biāo)68統(tǒng)計分析協(xié)方差矩陣協(xié)方差用于衡量兩個變量的總體誤差69統(tǒng)計分析箱線圖它是用一組數(shù)據(jù)中的最小值、第一四分位數(shù)、中位數(shù)、第三四分位數(shù)和最大值來反映數(shù)據(jù)分布的中心位置和散布范圍，可以粗略地看出數(shù)據(jù)是否具有對稱性。通過將多組數(shù)據(jù)的箱線圖畫在同一坐標(biāo)上，則可以清晰地顯示各組數(shù)據(jù)的分布差異，為發(fā)現(xiàn)問題、改進流程提供線索。70統(tǒng)計分析洛倫茲曲線稱為洛倫士曲線，洛倫茲曲線，是美國統(tǒng)計學(xué)家洛倫茲提出的用來描述社會收入分配狀況的一種曲線，它由累積的一定人口數(shù)占總?cè)丝谥械陌俜直扰c這部分人口所獲得的收入占總收入中的百分比狀況來表示。71統(tǒng)計分析正態(tài)檢驗正態(tài)分布檢驗組件支持KolmogorovSmirnov Test。該檢驗方法是比較一個頻率分布f(x)與理論分布g(x)或者兩個觀測值分布的檢驗方法。其原假設(shè)H0:兩個數(shù)據(jù)分布一致或者數(shù)據(jù)符合理論分布。目前該組件只支持檢驗頻率分布與理論分布的一致性。在科研平臺中可以查看具體的算法，還包括算法的介紹、輸入、輸出和使用方法和適用場景等信息。七. 科研平臺設(shè)備清單序號設(shè)備/系統(tǒng)名稱功能數(shù)量1高校大數(shù)據(jù)挖掘與分析科研平臺科研平臺基礎(chǔ)功能。12科研計算項目管理負(fù)責(zé)科研計算項目的管理，包括了計算項目建立、維護、設(shè)計和執(zhí)行。13科研大數(shù)據(jù)挖掘算法包包括機器學(xué)習(xí)、數(shù)據(jù)預(yù)處理、特征工程、文本分析、工具算法等6大類算法。14科研大數(shù)據(jù)可視化效果包通過可視化效果洞察數(shù)據(jù)的關(guān)聯(lián)關(guān)系，包括柱形圖、折線圖、殘值圖、面積圖等20余種可視化效果。15數(shù)據(jù)管理模塊負(fù)責(zé)進行數(shù)據(jù)的管理功能，分為外部數(shù)據(jù)管理和內(nèi)置數(shù)據(jù)源數(shù)據(jù)管理兩部分，包括數(shù)據(jù)的引入和授權(quán)等功能。16計算資源管控模塊用于后臺整體計算資源的使用和監(jiān)控，包括計算資源的分配、使用、監(jiān)督、回收和監(jiān)控，更高效的利用計算資源。17科研數(shù)據(jù)包_旅游用于多學(xué)科的數(shù)據(jù)計算和預(yù)測等，包括酒店、航班、火車等旅游方面的數(shù)據(jù)，可以用于旅游人群、旅游資源的科學(xué)研究。1 23 / 23
公司管理相關(guān)推薦
鄂ICP備17016276號-1