旅游大數(shù)據(jù)平臺(tái)方案-資料下載頁(yè)
2025-05-14 05:09本頁(yè)面
【正文】 通過(guò)每個(gè)中心詞來(lái)預(yù)測(cè)其上下文窗口詞，并根據(jù)預(yù)測(cè)結(jié)果來(lái)修正中心詞的詞向量。該組件目前只支持后者。53文本分析詞頻統(tǒng)計(jì)在對(duì)文章進(jìn)行分詞的基礎(chǔ)上，按行保序輸出對(duì)應(yīng)文章ID列(docId)對(duì)應(yīng)文章的詞，統(tǒng)計(jì)指定文章ID列(docId)對(duì)應(yīng)文章內(nèi)容(docContent)的詞頻。54文本分析文本摘要通過(guò)pagerank算法計(jì)算得到的重要性最高的若干句子可以當(dāng)作摘要。55文本分析關(guān)鍵詞提取全面把握文章的中心思想的基礎(chǔ)上，提取出若干個(gè)代表文章語(yǔ)義內(nèi)容的詞匯或短語(yǔ)56文本分析長(zhǎng)句拆分根據(jù)長(zhǎng)句中的標(biāo)點(diǎn)符號(hào)將句子進(jìn)行分割成多個(gè)短句57工具算法sql腳本用戶(hù)可以在該組件自定義的SQL腳本從而完成對(duì)數(shù)據(jù)的轉(zhuǎn)換處理58統(tǒng)計(jì)分析單樣本T檢驗(yàn)單樣本T檢驗(yàn)：?jiǎn)螛颖総檢驗(yàn)（onesample ttest）又稱(chēng)單樣本均數(shù)t檢驗(yàn)，適用于樣本均數(shù)x與已知總體均數(shù)u0的比較，其比較目的是檢驗(yàn)樣本均數(shù)x所代表的總體均數(shù)u0是否與已知總體均數(shù)u0有差別。已知總體均數(shù)u0，一般為標(biāo)準(zhǔn)值、理論值或經(jīng)大量觀(guān)察得到的較穩(wěn)定的指標(biāo)值。T檢驗(yàn)的前提是樣本總體服從正態(tài)分布59統(tǒng)計(jì)分析配對(duì)樣本均數(shù)T檢驗(yàn)配對(duì)樣本均數(shù)t檢驗(yàn)（paired t test）,又稱(chēng)非獨(dú)立兩樣本均數(shù)t檢驗(yàn)，適用于配對(duì)設(shè)計(jì)計(jì)量資料均數(shù)的比較，其比較目的是檢驗(yàn)兩相關(guān)樣本均數(shù)所代表的未知總體均數(shù)是否有差別。60統(tǒng)計(jì)分析兩獨(dú)立樣本均數(shù)T檢驗(yàn)兩獨(dú)立樣本t檢驗(yàn)(twosample ttest),又稱(chēng)成組t檢驗(yàn)，它適用于完全隨機(jī)設(shè)計(jì)的兩樣本均數(shù)的比較，其目的是檢驗(yàn)兩樣本所來(lái)自總體的均數(shù)是否相等。完全隨機(jī)設(shè)計(jì)是將受試對(duì)象隨機(jī)地分配到兩組中，每組對(duì)象分別接受不同的處理，分析比較兩組的處理效應(yīng)。61統(tǒng)計(jì)分析方差齊性檢驗(yàn)由兩樣本方差推斷兩總體方差是否相同。有三種方差齊性檢驗(yàn)的方法可供選擇。選用Bartlett檢驗(yàn)：如果我們的數(shù)據(jù)服從正態(tài)分布，那么這種方法將是最為適用的。對(duì)于正態(tài)分布的數(shù)據(jù)，這種檢驗(yàn)極為靈敏；而當(dāng)數(shù)據(jù)為非正態(tài)分布時(shí)，使用該方法則很容易導(dǎo)致假陽(yáng)性誤判。Levene檢驗(yàn)：當(dāng)樣本數(shù)據(jù)偏態(tài)或者非正態(tài)性的情況下，選用Levene檢驗(yàn)魯棒性與精度比Bartlett檢驗(yàn)好。FlignerKilleen檢驗(yàn)： 這是一個(gè)非參數(shù)的檢驗(yàn)方法，完全不依賴(lài)于對(duì)分布的假設(shè)。62統(tǒng)計(jì)分析卡方適配度檢驗(yàn)卡方適配度檢驗(yàn)，ChiSquare Goodness of Fit 。其 H0 假設(shè)（虛無(wú)假設(shè)，null hypothesis）為一個(gè)樣本中已發(fā)生事件的次數(shù)分配會(huì)服從某個(gè)特定的理論分配。通常情況下這個(gè)特定的理論分配指的是均勻分配63統(tǒng)計(jì)分析卡方獨(dú)立性檢驗(yàn)卡方獨(dú)立性檢測(cè)，ChiSquare Independence Test，驗(yàn)證從兩個(gè)變量抽出的配對(duì)觀(guān)察值組是否互相獨(dú)立。其虛無(wú)假設(shè)是：兩個(gè)變量呈統(tǒng)計(jì)獨(dú)立性。64統(tǒng)計(jì)分析百分位對(duì)一個(gè)存在的表，單列數(shù)據(jù)計(jì)算百分位65統(tǒng)計(jì)分析皮爾森相關(guān)系數(shù)矩陣計(jì)算兩兩字段（數(shù)值型）的皮爾森相關(guān)系數(shù)。66統(tǒng)計(jì)分析全表統(tǒng)計(jì)分別計(jì)算全表的每個(gè)字段的統(tǒng)計(jì)信息，包括缺省值、最大最小值、方差、偏值等等。67統(tǒng)計(jì)分析Quantile分位數(shù)統(tǒng)計(jì)信息指標(biāo)68統(tǒng)計(jì)分析協(xié)方差矩陣協(xié)方差用于衡量?jī)蓚€(gè)變量的總體誤差69統(tǒng)計(jì)分析箱線(xiàn)圖它是用一組數(shù)據(jù)中的最小值、第一四分位數(shù)、中位數(shù)、第三四分位數(shù)和最大值來(lái)反映數(shù)據(jù)分布的中心位置和散布范圍，可以粗略地看出數(shù)據(jù)是否具有對(duì)稱(chēng)性。通過(guò)將多組數(shù)據(jù)的箱線(xiàn)圖畫(huà)在同一坐標(biāo)上，則可以清晰地顯示各組數(shù)據(jù)的分布差異，為發(fā)現(xiàn)問(wèn)題、改進(jìn)流程提供線(xiàn)索。70統(tǒng)計(jì)分析洛倫茲曲線(xiàn)稱(chēng)為洛倫士曲線(xiàn)，洛倫茲曲線(xiàn)，是美國(guó)統(tǒng)計(jì)學(xué)家洛倫茲提出的用來(lái)描述社會(huì)收入分配狀況的一種曲線(xiàn)，它由累積的一定人口數(shù)占總?cè)丝谥械陌俜直扰c這部分人口所獲得的收入占總收入中的百分比狀況來(lái)表示。71統(tǒng)計(jì)分析正態(tài)檢驗(yàn)正態(tài)分布檢驗(yàn)組件支持KolmogorovSmirnov Test。該檢驗(yàn)方法是比較一個(gè)頻率分布f(x)與理論分布g(x)或者兩個(gè)觀(guān)測(cè)值分布的檢驗(yàn)方法。其原假設(shè)H0:兩個(gè)數(shù)據(jù)分布一致或者數(shù)據(jù)符合理論分布。目前該組件只支持檢驗(yàn)頻率分布與理論分布的一致性。在科研平臺(tái)中可以查看具體的算法，還包括算法的介紹、輸入、輸出和使用方法和適用場(chǎng)景等信息。七. 科研平臺(tái)設(shè)備清單序號(hào)設(shè)備/系統(tǒng)名稱(chēng)功能數(shù)量1高校大數(shù)據(jù)挖掘與分析科研平臺(tái)科研平臺(tái)基礎(chǔ)功能。12科研計(jì)算項(xiàng)目管理負(fù)責(zé)科研計(jì)算項(xiàng)目的管理，包括了計(jì)算項(xiàng)目建立、維護(hù)、設(shè)計(jì)和執(zhí)行。13科研大數(shù)據(jù)挖掘算法包包括機(jī)器學(xué)習(xí)、數(shù)據(jù)預(yù)處理、特征工程、文本分析、工具算法等6大類(lèi)算法。14科研大數(shù)據(jù)可視化效果包通過(guò)可視化效果洞察數(shù)據(jù)的關(guān)聯(lián)關(guān)系，包括柱形圖、折線(xiàn)圖、殘值圖、面積圖等20余種可視化效果。15數(shù)據(jù)管理模塊負(fù)責(zé)進(jìn)行數(shù)據(jù)的管理功能，分為外部數(shù)據(jù)管理和內(nèi)置數(shù)據(jù)源數(shù)據(jù)管理兩部分，包括數(shù)據(jù)的引入和授權(quán)等功能。16計(jì)算資源管控模塊用于后臺(tái)整體計(jì)算資源的使用和監(jiān)控，包括計(jì)算資源的分配、使用、監(jiān)督、回收和監(jiān)控，更高效的利用計(jì)算資源。17科研數(shù)據(jù)包_旅游用于多學(xué)科的數(shù)據(jù)計(jì)算和預(yù)測(cè)等，包括酒店、航班、火車(chē)等旅游方面的數(shù)據(jù)，可以用于旅游人群、旅游資源的科學(xué)研究。1 23 / 23
公司管理相關(guān)推薦
鄂ICP備17016276號(hào)-1