民謠大數(shù)據(jù),大數(shù)據(jù)里的民謠的雜文隨筆(參考版)
2024-10-17 23:46本頁(yè)面
【正文】 在商業(yè)智能系統(tǒng)的設(shè)計(jì)中，數(shù)據(jù)倉(cāng)庫(kù)的構(gòu)建是關(guān)鍵，是商業(yè)智能系統(tǒng)的基礎(chǔ)，承擔(dān)對(duì)業(yè)務(wù)系統(tǒng)數(shù)據(jù)整合的任務(wù)，為商業(yè)智能系統(tǒng)提供數(shù)據(jù)抽取、轉(zhuǎn)換和加載(ETL)，并按主題對(duì)數(shù)據(jù)進(jìn)行查詢和訪問(wèn)，為聯(lián)機(jī)數(shù)據(jù)分析和數(shù)據(jù)挖掘提供數(shù)據(jù)平臺(tái)。假如大數(shù)據(jù)真的是下一個(gè)重要的技術(shù)革新的話，我們最好把精力關(guān)注在大數(shù)據(jù)能給我們帶來(lái)的好處，而不僅僅是挑戰(zhàn)。Data Quality and Master Data Management（數(shù)據(jù)質(zhì)量和數(shù)據(jù)管理）數(shù)據(jù)質(zhì)量和數(shù)據(jù)管理是一些管理方面的最佳實(shí)踐。Semantic Engines（語(yǔ)義引擎）我們知道由于非結(jié)構(gòu)化數(shù)據(jù)的多樣性帶來(lái)了數(shù)據(jù)分析的新的挑戰(zhàn)，我們需要一系列的工具去解析，提取，分析數(shù)據(jù)。這些算法不僅要處理大數(shù)據(jù)的量，也要處理大數(shù)據(jù)的速度。Data Mining Algorithms（數(shù)據(jù)挖掘算法）可視化是給人看的，數(shù)據(jù)挖掘就是給機(jī)器看的。大數(shù)據(jù)分析Analytic Visualizations（可視化分析）不管是對(duì)數(shù)據(jù)分析專家還是普通用戶，數(shù)據(jù)可視化是數(shù)據(jù)分析工具最基本的要求。數(shù)據(jù)倉(cāng)庫(kù)：TeradataAsterData, EMC GreenPlum, HPVertica 等等。它存在于Hadoop生態(tài)圈之外，但也曾經(jīng)有一些用戶。開(kāi)源大數(shù)據(jù)生態(tài)圈：Hadoop HDFS、HadoopMapReduce, HBase、Hive 漸次誕生，早期Hadoop生態(tài)圈逐步形成。擁有了大數(shù)據(jù)，我們不再需要對(duì)一個(gè)現(xiàn)象刨根問(wèn)底，只要掌握了大體的發(fā)展方向即可，適當(dāng)忽略微觀層面上的精確度，會(huì)讓我們?cè)诤暧^層面擁有更好的洞察力，而是相關(guān)關(guān)系：我們不再熱衷于找因果關(guān)系，尋找因果關(guān)系是人類長(zhǎng)久以來(lái)的習(xí)慣，在大數(shù)據(jù)時(shí)代，我們無(wú)須再緊盯事物之間的因果關(guān)系，而應(yīng)該尋找事物之間的相關(guān)關(guān)系。大數(shù)據(jù)精髓，而是全體數(shù)據(jù)：在大數(shù)據(jù)時(shí)代，我們可以分析更多的數(shù)據(jù)，有時(shí)候甚至可以處理和某個(gè)特別現(xiàn)象相關(guān)的所有數(shù)據(jù)，而不再依賴于隨機(jī)采樣(隨機(jī)采樣，以前我們通常把這看成是理所應(yīng)當(dāng)?shù)南拗?，但高性能的?shù)字技術(shù)讓我們意識(shí)到，這其實(shí)是一種人為限制)，而是混雜性：研究數(shù)據(jù)如此之多，以至于我們不再熱衷于追求精確度。Hadoop的分布式架構(gòu)，將大數(shù)據(jù)處理引擎盡可能的靠近存儲(chǔ)，對(duì)例如像ETL這樣的批處理操作相對(duì)合適，因?yàn)轭愃七@樣操作的批處理結(jié)果可以直接走向存儲(chǔ)。與一體機(jī)、商用數(shù)據(jù)倉(cāng)庫(kù)以及QlikView、Yonghong ZSuite等數(shù)據(jù)集市相比，hadoop是開(kāi)源的，項(xiàng)目的軟件成本因此會(huì)大大降低。Hadoop能夠自動(dòng)保存數(shù)據(jù)的多個(gè)副本，并且能夠自動(dòng)將失敗的任務(wù)重新分配。Hadoop能夠在節(jié)點(diǎn)之間動(dòng)態(tài)地移動(dòng)數(shù)據(jù)，并保證各個(gè)節(jié)點(diǎn)的動(dòng)態(tài)平衡，因此處理速度非常快。Hadoop是在可用的計(jì)算機(jī)集簇間分配數(shù)據(jù)并完成計(jì)算任務(wù)的，這些集簇可以方便地?cái)U(kuò)展到數(shù)以千計(jì)的節(jié)點(diǎn)中。Hadoop按位存儲(chǔ)和處理數(shù)據(jù)的能力值得人們信賴。HDFS放寬了（relax）POSIX的要求，可以以流的形式訪問(wèn)（streaming access）文件系統(tǒng)中的數(shù)據(jù)。二Hadoop實(shí)現(xiàn)了一個(gè)分布式文件系統(tǒng)（Hadoop Distributed File System），簡(jiǎn)稱HDFS。系統(tǒng)機(jī)制的調(diào)整，也就是商業(yè)模式的創(chuàng)新。趨勢(shì)八：數(shù)據(jù)生態(tài)系統(tǒng)復(fù)合化程度加強(qiáng)大數(shù)據(jù)的世界不只是一個(gè)單一的、巨大的計(jì)算機(jī)網(wǎng)絡(luò)，而是一個(gè)由大量活動(dòng)構(gòu)件與多元參與者元素所構(gòu)成的生態(tài)系統(tǒng)，終端設(shè)備提供商、基礎(chǔ)設(shè)施提供商、網(wǎng)絡(luò)服務(wù)提供商、網(wǎng)絡(luò)接入服務(wù)提供商、數(shù)據(jù)服務(wù)使能者、數(shù)據(jù)服務(wù)提供商、觸點(diǎn)服務(wù)、數(shù)據(jù)服務(wù)零售商等等一系列的參與者共同構(gòu)建的生態(tài)系統(tǒng)。其中要面臨的一個(gè)挑戰(zhàn)是，很多數(shù)據(jù)源會(huì)帶來(lái)大量低質(zhì)量數(shù)據(jù)。此外，對(duì)于具有互聯(lián)網(wǎng)思維的企業(yè)而言，%，數(shù)據(jù)資產(chǎn)的管理效果將直接影響企業(yè)的財(cái)務(wù)表現(xiàn)。當(dāng)“數(shù)據(jù)資產(chǎn)是企業(yè)核心資產(chǎn)”的概念深入人心之后，企業(yè)對(duì)于數(shù)據(jù)管理便有了更清晰的界定，將數(shù)據(jù)管理作為企業(yè)核心競(jìng)爭(zhēng)力，持續(xù)發(fā)展，戰(zhàn)略性規(guī)劃與運(yùn)用數(shù)據(jù)資產(chǎn)，成為企業(yè)數(shù)據(jù)管理的核心。企業(yè)需要從新的角度來(lái)確保自身以及客戶數(shù)據(jù)，所有數(shù)據(jù)在創(chuàng)建之初便需要獲得安全保障，而并非在數(shù)據(jù)保存的最后一個(gè)環(huán)節(jié)，僅僅加強(qiáng)后者的安全措
醫(yī)療健康相關(guān)推薦
鄂ICP備17016276號(hào)-1