大數(shù)據(jù)和小米金融(ppt25頁)(完整版)
【正文】 適合 OLAP DW建設(shè) 數(shù)據(jù)遷移利器之 sqoop ? 業(yè)務(wù)數(shù)據(jù)往往都在 mysql ? 從 mysql到 hbase DW建設(shè) 機器學(xué)習(xí)利器之 spark ? 比 hadoop更通用（豐富的 API） ? 高性能 ? 良好的機器學(xué)習(xí)支持 用戶金融畫像 ? 目標 ? 屬性分析 ? 數(shù)據(jù)稀疏性問題 用戶金融畫像 目標 ? 金融屬性 收入 /支出 /資產(chǎn) /購物 /理財 /… ? 行為屬性 (人被行為所定義 ) app/視頻 /圖書 /音樂 /電話時間和次數(shù) /運動 /… ? 社交屬性 (物以類聚，人以群分 ) 居住區(qū)域 /工作單位 米聊 /小米社區(qū) 網(wǎng)絡(luò)社交（微博 /linkedin） ? 人口屬性 性別 /年齡 /學(xué)歷 /… 金融用戶畫像 屬性分析 ? 基于 Spark ? 引入 GBDT+LR， GBDT+FM等方法自動發(fā)現(xiàn)、組合特征 ? 采樣：均衡性問題 ? 去噪：部分業(yè)務(wù)數(shù)據(jù)可能有作弊數(shù)據(jù) 用戶金融畫像 數(shù)據(jù)稀疏性 應(yīng)用數(shù)據(jù) 0%50%100%應(yīng)用安裝率 安
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號-1