某科技離線(xiàn)大數(shù)據(jù)處理平臺(tái)(編輯修改稿)
2025-03-12 13:42 本頁(yè)面
【文章內(nèi)容簡(jiǎn)介】 0])), new LongWritable((ss[1])))。 } (vertex)。 } } 利用圖編程實(shí)現(xiàn) SSSP算法 (2) Vertex – 點(diǎn) 基類(lèi) public static class SSSPVertex extends VertexLongWritable, LongWritable, LongWritable, LongWritable { Override public void pute(ComputeContext… context, Iterable messages) { long minDist = (getId() == 1) ? 0 : 。 for (LongWritable msg : messages) { if (msg minDist) { minDist = msg。 } } if (minDist ()) { (minDist)。 for (Edge e : ()) { ((), minDist + getValue())。 } } else { voteToHalt()。 } } } 利用圖編程實(shí)現(xiàn) SSSP算法 (3) 矩陣和算法運(yùn)算支持 ? 基亍 MPI的算法運(yùn)算包 ? 圖形化交虧界面 ? 支持算法： – SVD分解 – 逡輯回歸 – 隨機(jī)森林 – … ? 連接 R不 ODPS ? 集成 ODPS的算法 ODPS 多集群架構(gòu) 17 業(yè)務(wù)增長(zhǎng)的速度永遠(yuǎn)快亍技術(shù)完善的速度， 如何支撐日益膨脹的存儲(chǔ)和計(jì)算需求？ 多集群架構(gòu) 18 ? 多計(jì)算機(jī)群 – 解決規(guī)模瓶頸 – 統(tǒng)一 meta ? 準(zhǔn)實(shí)時(shí)數(shù)據(jù)同步 – 減少熱數(shù)據(jù)跨機(jī)房 – 業(yè)務(wù)遷移 ? 多控制機(jī)群 – 灰度發(fā)布 – 業(yè)務(wù)分離 多租戶(hù)模型 19 如何支持多個(gè)團(tuán)隊(duì)在一個(gè)平
電大資料相關(guān)推薦
鄂ICP備17016276號(hào)-1