某科技離線大數(shù)據(jù)處理平臺(tái)30-在線瀏覽
2025-03-26 13:38本頁(yè)面
【正文】 ap Reduce仍然是離線運(yùn)算的主流， 但是， 頻繁 IO帶來(lái)的性能瓶頸 … 模型描述能力的局限 … 準(zhǔn)實(shí)時(shí)查詢 11 ? 優(yōu)勢(shì)： – 避免 IO消耗 – 節(jié)約調(diào)度成本 ? 劣勢(shì)： – Failover – 資源占用 – 數(shù)據(jù)規(guī)模 ? 適用場(chǎng)景： – Ad hoc分析 圖編程 ? 功能： – 統(tǒng)一的 API、授權(quán)、數(shù)據(jù)存儲(chǔ)、 meta – Masterslave， worker負(fù)責(zé)子圖 – 通過(guò)迭代在節(jié)點(diǎn)間通訊和修改圖拓?fù)? ? 挑戰(zhàn)： – 數(shù)據(jù)傾斜時(shí)的內(nèi)存控制 – 不其他類型作業(yè)共存 – 錯(cuò)誤恢復(fù) ? 優(yōu)勢(shì)： – 斱便處理圖數(shù)據(jù) – 多輪迭代性能遠(yuǎn)好亍 MR ? 應(yīng)用場(chǎng)景： ? 推薦、社交網(wǎng)絡(luò)、物流、 … 利用圖編程實(shí)現(xiàn) SSSP算法 (1) GraphLoader – 圖加載 基 類 public static class SSSPGraphLoader extends GraphLoaderLongWritable, LongWritable, LongWritable, LongWritable { Override public void load(Record record, MutationContext... context) { SSSPVertex vertex = new SSSPVertex()。 ((LongWritable) (0))。 for (int i = 0。 i++) { String[] ss = edges[i].split(:)。 } (vertex)。 for (LongWritable msg : messages) { if (msg minDist) { minDist = msg。 for (Edge e : ()) { ((), minDist + getValue())。 } } } 利用圖編程實(shí)現(xiàn) SSSP算法 (3) 矩陣和算法運(yùn)算支持 ? 基
試題試卷相關(guān)推薦
鄂ICP備17016276號(hào)-1