大數(shù)據(jù)和小米金融(ppt25頁(yè))(完整版)
【正文】 適合 OLAP DW建設(shè) 數(shù)據(jù)遷移利器之 sqoop ? 業(yè)務(wù)數(shù)據(jù)往往都在 mysql ? 從 mysql到 hbase DW建設(shè) 機(jī)器學(xué)習(xí)利器之 spark ? 比 hadoop更通用（豐富的 API） ? 高性能 ? 良好的機(jī)器學(xué)習(xí)支持 用戶金融畫(huà)像 ? 目標(biāo) ? 屬性分析 ? 數(shù)據(jù)稀疏性問(wèn)題 用戶金融畫(huà)像 目標(biāo) ? 金融屬性 收入 /支出 /資產(chǎn) /購(gòu)物 /理財(cái) /… ? 行為屬性 (人被行為所定義 ) app/視頻 /圖書(shū) /音樂(lè) /電話時(shí)間和次數(shù) /運(yùn)動(dòng) /… ? 社交屬性 (物以類(lèi)聚，人以群分 ) 居住區(qū)域 /工作單位 米聊 /小米社區(qū) 網(wǎng)絡(luò)社交（微博 /linkedin） ? 人口屬性 性別 /年齡 /學(xué)歷 /… 金融用戶畫(huà)像 屬性分析 ? 基于 Spark ? 引入 GBDT+LR， GBDT+FM等方法自動(dòng)發(fā)現(xiàn)、組合特征 ? 采樣：均衡性問(wèn)題 ? 去噪：部分業(yè)務(wù)數(shù)據(jù)可能有作弊數(shù)據(jù) 用戶金融畫(huà)像 數(shù)據(jù)稀疏性 應(yīng)用數(shù)據(jù) 0%50%100%應(yīng)用安裝率 安
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號(hào)-1