某科技離線大數(shù)據(jù)處理平臺(tái)-wenkub.com
2025-02-20 13:42 本頁(yè)面
【正文】 } } } 利用圖編程實(shí)現(xiàn) SSSP算法 (3) 矩陣和算法運(yùn)算支持 ? 基亍 MPI的算法運(yùn)算包 ? 圖形化交虧界面 ? 支持算法： – SVD分解 – 逡輯回歸 – 隨機(jī)森林 – … ? 連接 R不 ODPS ? 集成 ODPS的算法 ODPS 多集群架構(gòu) 17 業(yè)務(wù)增長(zhǎng)的速度永遠(yuǎn)快亍技術(shù)完善的速度， 如何支撐日益膨脹的存儲(chǔ)和計(jì)算需求？ 多集群架構(gòu) 18 ? 多計(jì)算機(jī)群 – 解決規(guī)模瓶頸 – 統(tǒng)一 meta ? 準(zhǔn)實(shí)時(shí)數(shù)據(jù)同步 – 減少熱數(shù)據(jù)跨機(jī)房 – 業(yè)務(wù)遷移 ? 多控制機(jī)群 – 灰度發(fā)布 – 業(yè)務(wù)分離 多租戶模型 19 如何支持多個(gè)團(tuán)隊(duì)在一個(gè)平臺(tái)上開(kāi)發(fā)？ 多租戶模型 20 ? 用戶空間 ? 授權(quán)訪問(wèn) ? 跨空間訪問(wèn) ? 受保護(hù)的空間 ? 空間虧信 ODPS安全架構(gòu) 數(shù)據(jù)安全是每個(gè)平臺(tái)產(chǎn)品 需要解決的核心問(wèn)題 Web 服務(wù)器 ODPS安全 架構(gòu) (Meta OTS Store) ODPS服務(wù) 計(jì)算集群 n 計(jì)算集群 1 … ODPS 客戶端 (SDK, Console) ODPS接入層 ODPS控制集群 OdpsWorker Scheduler Executor Hive Server 云帳號(hào) Shenshu (授權(quán)服務(wù) ) KDC (SSO服務(wù) ) Web 服務(wù)器 OTS (Meta Store) 域帳號(hào) … 用戶認(rèn)證 飛天內(nèi)部認(rèn)證 與授權(quán)中心 ODPS服務(wù) 計(jì)算集群 n 計(jì)算集群 1 … ODPS 客戶端 (SDK, Console) ODPS接入層 ODPS控制集群 1. 認(rèn)證 . 2. 檢查用戶權(quán)限 , 檢查數(shù)據(jù)保護(hù)策略 . 3. 給 Fuxi Job配置最小權(quán)限的 Capability. eg, pangu cap權(quán)限如下 : { “ R, “ R, “ W } SQL實(shí)例 : INSERT OVER
電大資料相關(guān)推薦
鄂ICP備17016276號(hào)-1