大數(shù)據(jù)第5章r語言(完整版)
【正文】 無效數(shù)據(jù)處理 of 44 25 R在數(shù)據(jù)挖掘中的應用舉例 R與數(shù)據(jù)挖掘 《 大數(shù)據(jù) 》 配套 PPT課件 of 44 26 predict(, ) 計算線性回歸模型的預測值 predict(, algae) 計算回歸樹模型的預測值 mean(abs( algae[, a1])) 計算預測值的平均誤差 mean(abs( algae[, a1])) 計算預測值的平均誤差 顯示線性回歸模型預測值的平均誤差 [1] 顯示回歸樹模型預測值的平均誤差 [1] ?部分代碼 線性回歸和回歸樹模型的預測 ? 回歸樹的 MAE值 為 ? 線性回歸模型的 MAE值 ? 回歸樹模型的預測值的平均誤差要優(yōu)亍線性回歸模型預測值的平均誤差 R在數(shù)據(jù)挖掘中的應用舉例 第五章 R語言 R語言簡介 R不數(shù)據(jù)挖掘 SparkR 習題 of 44 27 SparkR 《 大數(shù)據(jù) 》 配套 PPT課件 taFrames的數(shù)據(jù)來源非常廣泛 高擴展性 DataFrames的 優(yōu)化 SparkR就是用 R語言編寫 Spark程序，它允許數(shù)據(jù)科學家分析大規(guī)模的數(shù)據(jù)集，幵通過 R Shell交互式地在 SparkR上運行作業(yè) 上 1 2 3 SparkR的核心是 SparkR DataFrame， 數(shù)據(jù)組織成一個帶有列名的分布式數(shù)據(jù)集 對 RDD API的支持 4 of 44 28 SparkR 簡介 SparkR 《 大數(shù)據(jù) 》 配套 PPT課件 1. Linux下安裝 R 2. rJava包安裝 3. SparkR的安裝 首先 在 官網(wǎng)下載 R的軟件包，官網(wǎng)網(wǎng)址為 SparkR包對 rJava包有依賴關系，因此，在安裝SparkR之前，需要先完成 rJava包的 安裝 為了避免 Spark版本的兼容問題，采用源碼編譯的方式來安裝 SparkR of 44 29 SparkR 環(huán)境搭建 SparkR 《 大數(shù)據(jù) 》 配套 PPT課件 創(chuàng)建 SparkSession 創(chuàng)建 SparkDataFrmes SparkSession（即 Spark會話）是 SparkR的切入點，它使得 R程序和 Spark集群相互 通信 根據(jù)需要從本地 R數(shù)據(jù)框（ R data frame）， Hive表（ Hive table）或者從其他數(shù)據(jù)源創(chuàng)建SparkDataFrmes of 44 30 SparkR 使用 SparkR 《 大數(shù)據(jù) 》 配套 PPT課件 HQL是一種類 SQL的語言，返種語言最終被轉化為 Map/Reduce， 通過 Hive可以使用 HQL語言查詢存放在 HDFS上的數(shù)據(jù) SparkR ? 利用 Hive表來創(chuàng)建 DataFrame； ? 將 DataFrame轉化為 Spark SQL； ? SparkR提供了對 HQL的支持和 API，但是 Hive適合用來對一段時間內的數(shù)據(jù)迕行分析查詢 of 44 31 SparkR 與 HQL SparkR 《 大數(shù)據(jù) 》 配套 PPT課件 廣義線性模型 簡單最小二乘回歸（ OLS）的擴展 ， 響應 變量 可以是 正整數(shù) 或分類 數(shù)據(jù) ， 為 某指數(shù)分布族 ,期望值函數(shù) 不預測變量 之間 為 線性關系 ， 需要指定分布類型和連接函數(shù) 加速失效時間生存回歸模型 AFT模型將經典線性回歸模型的建模方法直接拓展到了生存分析領域，即具有截尾生存時間的情形 樸素貝葉斯 模型 通過某對象的
范文總結相關推薦
鄂ICP備17016276號-1