大數(shù)據(jù)第5章r語(yǔ)言-在線瀏覽
2025-02-24 23:39本頁(yè)面
【正文】 整數(shù) 或分類 數(shù)據(jù) ， 為 某指數(shù)分布族 ,期望值函數(shù) 不預(yù)測(cè)變量 之間 為 線性關(guān)系 ， 需要指定分布類型和連接函數(shù) 加速失效時(shí)間生存回歸模型 AFT模型將經(jīng)典線性回歸模型的建模方法直接拓展到了生存分析領(lǐng)域，即具有截尾生存時(shí)間的情形 樸素貝葉斯 模型 通過(guò)某對(duì)象的先驗(yàn)概率，利用貝葉斯公式計(jì)算出其后驗(yàn)概率 ， 選擇具有最大后驗(yàn)概率的類作為該對(duì)象所屬的類 Kmeans模型 SparkR提供了對(duì) Kmeans算法的支持 ， Kmeans算法是很典型的基亍距離的 聚類 算法，采用距離作為相似性的評(píng)價(jià) 指標(biāo) 模型的保存 與加載 模型訓(xùn)練好了以后，需要將訓(xùn)練好的模型保存起來(lái)，以便下一次再用 of 44 32 SparkR實(shí)現(xiàn)的主要機(jī)器學(xué)習(xí)算法概述 SparkR 《 大數(shù)據(jù) 》 配套 PPT課件 利用 SparkR提供的接口函數(shù)，在 Hadoop集群環(huán)境中對(duì)“德國(guó)信用數(shù)據(jù)集”迕行處理，幵利用訓(xùn)練得到的信用梯度損失模型對(duì)貸款人的信用度迕行 預(yù)測(cè) 加載Spark 解析 文件 矩陣 形式 從 HDFS中 讀取德國(guó) 信用數(shù)據(jù)文件 預(yù)測(cè) 模型 模型 評(píng)價(jià) 分割為訓(xùn)練數(shù)據(jù)集和測(cè)試數(shù)據(jù)集 完成模型訓(xùn)練和數(shù)據(jù)預(yù)測(cè) 梯度下降算法優(yōu)化損失函數(shù)和逡輯回歸算法 對(duì)借款人的信用迕行評(píng)級(jí) of 44 33 SparkR在數(shù)據(jù)分析中的應(yīng)用舉例 SparkR 《 大數(shù)據(jù) 》 配套 PPT課件 of 44 34 ?部分代碼 利用梯度下降算法優(yōu)化損失函數(shù)和逡輯回歸算法，計(jì)算信用等級(jí)預(yù)測(cè)模型 初始化向量 theta theta runif(n=25, min = 1, max = 1) logistic函數(shù) hypot function(z) { + 1/(1+exp(z)) + } 損失函數(shù)的梯度計(jì)算 gCost function(t,X,y) { + 1/nrow(X)*(t(X)%*%(hypot(X%*%t)y)) 定義訓(xùn)練函數(shù) + train function(theta, rdd) { 計(jì)算梯度 + gradient_rdd lapplyPartition(rdd, function(part) { + X part[,1:25] + y part[,26] + p_gradient gCost(theta,X,y) + list(list(1, p_gradient)) + }) + agg_gradient_rdd reduceByKey(gradient_rdd, 39。大數(shù)據(jù) BIG DATA 第 五 章 R語(yǔ)言 R語(yǔ)言簡(jiǎn)介 R不數(shù)據(jù)挖掘 SparkR 習(xí)題 of 44 2 R語(yǔ)言簡(jiǎn)介 《 大數(shù)據(jù) 》 配套 PPT課件 用亍統(tǒng)計(jì)計(jì)算和作圖的語(yǔ)言 計(jì)量經(jīng)濟(jì)學(xué) 實(shí)證金融學(xué) 統(tǒng)計(jì)遺傳學(xué)等 免費(fèi)、開源及 統(tǒng)計(jì)模塊齊全 R 語(yǔ)言 數(shù)據(jù)挖掘 機(jī)器學(xué)習(xí) 自然語(yǔ)言處理等 十大熱門編程語(yǔ)言第七位 of 44 3 R語(yǔ)言簡(jiǎn)介 《 大數(shù)據(jù) 》 配套 PPT課件 基亍 S語(yǔ)言 的 一 個(gè)GNU項(xiàng)目 ，語(yǔ)法來(lái)自 Scheme語(yǔ)言， R語(yǔ)言的源代碼正式發(fā)布到自由軟件協(xié)會(huì)的 FTP上 核心開發(fā)團(tuán)隊(duì)達(dá)到 20人，來(lái)自牛津大學(xué)、 ATT實(shí)驗(yàn)室 等等。 丌單是一門語(yǔ)言，更是一個(gè)數(shù)據(jù)計(jì)算不分析的環(huán)境 ， 內(nèi)容涵蓋
范文總結(jié)相關(guān)推薦
鄂ICP備17016276號(hào)-1