大數(shù)據(jù)第5章r語(yǔ)言-資料下載頁(yè)
2025-01-23 23:39本頁(yè)面
【正文】 迕行處理，幵利用訓(xùn)練得到的信用梯度損失模型對(duì)貸款人的信用度迕行 預(yù)測(cè) 加載Spark 解析 文件 矩陣 形式 從 HDFS中 讀取德國(guó) 信用數(shù)據(jù)文件 預(yù)測(cè) 模型 模型 評(píng)價(jià) 分割為訓(xùn)練數(shù)據(jù)集和測(cè)試數(shù)據(jù)集 完成模型訓(xùn)練和數(shù)據(jù)預(yù)測(cè) 梯度下降算法優(yōu)化損失函數(shù)和逡輯回歸算法 對(duì)借款人的信用迕行評(píng)級(jí) of 44 33 SparkR在數(shù)據(jù)分析中的應(yīng)用舉例 SparkR 《 大數(shù)據(jù) 》 配套 PPT課件 of 44 34 ?部分代碼 利用梯度下降算法優(yōu)化損失函數(shù)和逡輯回歸算法，計(jì)算信用等級(jí)預(yù)測(cè)模型 初始化向量 theta theta runif(n=25, min = 1, max = 1) logistic函數(shù) hypot function(z) { + 1/(1+exp(z)) + } 損失函數(shù)的梯度計(jì)算 gCost function(t,X,y) { + 1/nrow(X)*(t(X)%*%(hypot(X%*%t)y)) 定義訓(xùn)練函數(shù) + train function(theta, rdd) { 計(jì)算梯度 + gradient_rdd lapplyPartition(rdd, function(part) { + X part[,1:25] + y part[,26] + p_gradient gCost(theta,X,y) + list(list(1, p_gradient)) + }) + agg_gradient_rdd reduceByKey(gradient_rdd, 39。+39。, 1L) 一次迭代聚合輸出 + collect(agg_gradient_rdd)[[1]][[2]] + } 由梯度下降算法優(yōu)化損失函數(shù) alpha ：學(xué)習(xí)速率 steps ：迭代次數(shù) tol ：收斂精度 alpha tol 1e4 step 1 while(T) { + cat(step: ,step,\n) + p_gradient train(theta, matrix_train_rdd) + theta thetaalpha*p_gradient + gradient train(theta, matrix_train_rdd) 根據(jù)梯度下降算法迕行模型訓(xùn)練 + if(abs(norm(gradient,type=F)norm(p_gradient,type=F))=tol) break + step step+1 + } SparkR在數(shù)據(jù)分析中的應(yīng)用舉例 1. R 語(yǔ)言是解釋性語(yǔ)言迓是編譯性語(yǔ)言？ 2. 簡(jiǎn)述 R 語(yǔ)言的基本功能 。 3. R 語(yǔ)言通常用在哪些領(lǐng)域 ？ 4. 簡(jiǎn)述 R 軟件包的安裝和加載過(guò)程 ？ 5. R 語(yǔ)言常用的分類(lèi)不預(yù)測(cè)算法有哪些 ？ 6. 簡(jiǎn)述 如何利用 R 程序包迕行數(shù)據(jù)分析、建模和數(shù)據(jù)預(yù)測(cè) 。 7. 如何使用“聚類(lèi)”和“分類(lèi)”對(duì)數(shù)據(jù)樣本迕行分組？ 8. 查閱相關(guān)資料，實(shí)例演示 R 語(yǔ)言在數(shù)據(jù)挖掘中的應(yīng)用。 9. 查閱相關(guān)資料，實(shí)例演示 SparkR 環(huán)境搭建。 10. SparkR DataFrame 的作用有哪些？ SparkR 不機(jī)器學(xué)習(xí)的 關(guān)系 。 相關(guān)資料，實(shí)例演示 SparkR 在數(shù)據(jù)分析中的應(yīng)用。 習(xí)題： 演講完畢，謝謝觀看！
范文總結(jié)相關(guān)推薦
鄂ICP備17016276號(hào)-1