《大數(shù)據(jù)》第5章r語(yǔ)言-全文預(yù)覽
【正文】 es的數(shù)據(jù)來(lái)源非常廣泛 高擴(kuò)展性 DataFrames的 優(yōu)化 SparkR就是用 R語(yǔ)言編寫(xiě) Spark程序，它允許數(shù)據(jù)科學(xué)家分析大規(guī)模的數(shù)據(jù)集，幵通過(guò) R Shell交互式地在 SparkR上運(yùn)行作業(yè) 上 1 2 3 SparkR的核心是 SparkR DataFrame， 數(shù)據(jù)組織成一個(gè)帶有列名的分布式數(shù)據(jù)集 對(duì) RDD API的支持 4 of 44 28 SparkR 簡(jiǎn)介 SparkR 《 大數(shù)據(jù) 》 配套 PPT課件 1. Linux下安裝 R 2. rJava包安裝 3. SparkR的安裝 首先 在 官網(wǎng)下載 R的軟件包，官網(wǎng)網(wǎng)址為 SparkR包對(duì) rJava包有依賴(lài)關(guān)系，因此，在安裝SparkR之前，需要先完成 rJava包的 安裝 為了避免 Spark版本的兼容問(wèn)題，采用源碼編譯的方式來(lái)安裝 SparkR of 44 29 SparkR 環(huán)境搭建 SparkR 《 大數(shù)據(jù) 》 配套 PPT課件 創(chuàng)建 SparkSession 創(chuàng)建 SparkDataFrmes SparkSession（即 Spark會(huì)話）是 SparkR的切入點(diǎn)，它使得 R程序和 Spark集群相互 通信 根據(jù)需要從本地 R數(shù)據(jù)框（ R data frame）， Hive表（ Hive table）或者從其他數(shù)據(jù)源創(chuàng)建SparkDataFrmes of 44 30 SparkR 使用 SparkR 《 大數(shù)據(jù) 》 配套 PPT課件 HQL是一種類(lèi) SQL的語(yǔ)言，返種語(yǔ)言最終被轉(zhuǎn)化為 Map/Reduce， 通過(guò) Hive可以使用 HQL語(yǔ)言查詢(xún)存放在 HDFS上的數(shù)據(jù) SparkR ? 利用 Hive表來(lái)創(chuàng)建 DataFrame； ? 將 DataFrame轉(zhuǎn)化為 Spark SQL； ? SparkR提供了對(duì) HQL的支持和 API，但是 Hive適合用來(lái)對(duì)一段時(shí)間內(nèi)的數(shù)據(jù)迕行分析查詢(xún) of 44 31 SparkR 與 HQL SparkR 《 大數(shù)據(jù) 》 配套 PPT課件 廣義線性模型 簡(jiǎn)單最小二乘回歸（ OLS）的擴(kuò)展 ， 響應(yīng) 變量 可以是 正整數(shù) 或分類(lèi) 數(shù)據(jù) ， 為 某指數(shù)分布族 ,期望值函數(shù) 不預(yù)測(cè)變量 之間 為 線性關(guān)系 ， 需要指定分布類(lèi)型和連接函數(shù) 加速失效時(shí)間生存回歸模型 AFT模型將經(jīng)典線性回歸模型的建模方法直接拓展到了生存分析領(lǐng)域，即具有截尾生存時(shí)間的情形 樸素貝葉斯 模型 通過(guò)某對(duì)象的先驗(yàn)概率，利用貝葉斯公式計(jì)算出其后驗(yàn)概率 ， 選擇具有最大后驗(yàn)概率的類(lèi)作為該對(duì)象所屬的類(lèi) Kmeans模型 SparkR提供了對(duì) Kmeans算法的支持 ， Kmeans算法是很典型的基亍距離的 聚類(lèi) 算法，采用距離作為相似性的評(píng)價(jià) 指標(biāo) 模型的保存 與加載 模型訓(xùn)練好了以后，需要將訓(xùn)練好的模型保存起來(lái)，以便下一次再用 of 44 32 SparkR實(shí)現(xiàn)的主要機(jī)器學(xué)習(xí)算法概述 SparkR 《 大數(shù)據(jù) 》 配套 PPT課件 利用 SparkR提供的接口函數(shù)，在 Hadoop集群環(huán)境中對(duì)“德國(guó)信用數(shù)據(jù)集”迕行處理，幵利用訓(xùn)練得到的信用梯度損失模型對(duì)貸款人的信用度迕行 預(yù)測(cè) 加載Spark 解析 文件 矩陣 形式 從 HDFS中 讀取德國(guó) 信用數(shù)據(jù)文件 預(yù)測(cè) 模型 模型 評(píng)價(jià) 分割為訓(xùn)練數(shù)據(jù)集和測(cè)試數(shù)據(jù)集 完成模型訓(xùn)練和數(shù)據(jù)預(yù)測(cè) 梯度下降算法優(yōu)化損失函數(shù)和逡輯回歸算法 對(duì)借款人的信用迕行評(píng)級(jí) of 44 33
范文總結(jié)相關(guān)推薦
鄂ICP備17016276號(hào)-1