大數據技術的初步認識-全文預覽
【正文】 服務化平臺?類MySQL的分布式數據庫?提供針對PB級別數據的、實時性要求相對不高的批量處理能力?對海量數據進行任意維度即時分析和統(tǒng)計?海量結構化數據存儲，千億級別數據條目，PB級數據跨表業(yè)務?為各種實時分析應用提供秒級的流計算服務?海量數據統(tǒng)計、數據挖掘、商業(yè)智能等?支持長周期的歷史數據統(tǒng)計數據集成DataX?數據交換工具?支持數十種各類數據存儲、計算系統(tǒng)間的數據交易?開源27
騰訊大數據技術架構數據實時收集與分發(fā)平臺向TDW與TRC提供數據支持基于流式的數據處理過程，保障了數據的實時性數據采集 TDBank28
騰訊大數據技術架構騰訊分布式數據倉庫支持百PB級數據的離線存儲和計算，為業(yè)務提供海量、高效、穩(wěn)定的大數據平臺支撐和決策支持針對Hadoop原有架構進行了深度改造，對Hive進行了大量定制開發(fā)離線計算 TDW專為時間延敏感的業(yè)務提供實時處理服務基于開源的Storm深度定制，實現(xiàn)了任務級別的權限管理、資源分配，動態(tài)擴容/縮容提供過程化語言拓展，方便用戶提交業(yè)務實時計算 TRC29
騰訊大數據技術架構提供高并發(fā)任務調度和資源管理可伸縮性和可靠性支持離線和實時計算定制開源YARN形成Sfair調度器資源調度 Gaia30
百度大數據技術架構? 搜索引擎網頁爬蟲索引分析查詢?對網頁數據進行抓取，分析提取鏈接，生成鏈接列表?頁面分析（分詞、去重、防作弊）?相應用戶查詢請求?把查詢結果以網頁形式呈現(xiàn)給用戶? PageRank計算?倒排索引31
百度大數據技術架構? 大數據平臺數據傳輸及格式化?日志 Logsaver?實時消息 – Bigpipe、Subpub?數據格式化 ProtobufDW及ETL數據處
環(huán)評公示相關推薦
鄂ICP備17016276號-1