大數(shù)據(jù)發(fā)展現(xiàn)況與趨勢(shì)概述-資料下載頁(yè)
2025-03-11 10:41本頁(yè)面
【正文】 對(duì)新的例證 ，神經(jīng)網(wǎng)路即可 根據(jù)其過(guò)去學(xué)習(xí)的成果歸納后，推導(dǎo)出新的結(jié)果 ，乃屬于機(jī)器學(xué)習(xí)的一種。數(shù)據(jù)采擷的相關(guān)問(wèn)題也可采類(lèi)神經(jīng)學(xué)習(xí)的方式，其學(xué)習(xí)效果十分正確并 可做預(yù)測(cè)功能。 所謂就是指 因變數(shù)和自變數(shù)之間的關(guān)系是直線型的 。 回歸分析預(yù)測(cè)法中最簡(jiǎn)單和最常用的是線性回歸預(yù)測(cè)法。 是對(duì) 客觀事物數(shù)量依存關(guān)系的分析 是數(shù)理統(tǒng)計(jì)中的一個(gè)常用的方法．是 處理多個(gè)變數(shù)之間相互關(guān)系的一種數(shù)學(xué)方法． 線性回歸模型 是 機(jī)率論中的一個(gè)結(jié)論 ，它跟隨機(jī)變數(shù)的 條件機(jī)率以及邊緣機(jī)率 分布有關(guān)。 通常， 事件 A在事件 B（發(fā)生）的條件下的機(jī)率，與事件 B在事件 A的條件下的機(jī)率是不一樣的 ；然而，這兩者是有確定的關(guān)系， 貝氏定理就是這種關(guān)系的陳述。 貝氏定理（ Bayes39。 theorem） 項(xiàng)次 問(wèn)題類(lèi)型 適用技術(shù) (方法 ) 舉例 1 預(yù)測(cè)離散屬性 (Decision Trees ) (Naive Bayes ) (Clustering ) (Neural Network) 或較差的潛在客戶(hù)。 來(lái) 6個(gè)月內(nèi)失敗的機(jī)率。 。 2 預(yù)測(cè)連續(xù)屬性 (Decision Trees ) (Time Series) (Linear Regression) 。 站訪客。 。 3 預(yù)測(cè)順序 (Sequence Clustering) 。 。 ，制定出以一般活動(dòng)為主的最佳作法。 4 在交易中尋找通用項(xiàng)目的群組 (Association ) (Decision Trees) 。 。 ，以找出相互關(guān)聯(lián)的活動(dòng)或攤位，并規(guī)劃未來(lái)的活動(dòng)。 5 尋找相似項(xiàng)目的群組 (Clustering) (Sequence Clustering ) ，建立病患風(fēng)險(xiǎn)評(píng)估群組。 。 。 問(wèn)題類(lèi)型與方法選定 SPSS和 NCR在 1996年為克萊斯勒做數(shù)據(jù)采礦時(shí)所訂定 ,區(qū)分六大步驟： (Business Understanding) (Data Understanding) (Data Preparation) 模 (Modeling) (Evaluation) (或布署 ) (Deployment) 數(shù)據(jù)挖掘標(biāo)準(zhǔn)流程 (CRISPDM) (CRossIndustryStandardProcess forDataMining ) 一個(gè)數(shù)據(jù)挖掘項(xiàng)目的生命周期包含六個(gè)階段。這六個(gè)階段的順序是不固定的，我們經(jīng)常需要前后調(diào)整這些階段。 最初的階段集中在理解項(xiàng)目目標(biāo)和從業(yè)務(wù)的角度理解需求，同時(shí)將這個(gè)知識(shí)轉(zhuǎn)化為數(shù)據(jù)挖掘問(wèn)題的定義和完成目標(biāo)的初步計(jì)劃。 側(cè)重點(diǎn)： ?數(shù)據(jù)采礦的重心在于如何從數(shù)據(jù)中挖掘出知識(shí)以獲取商業(yè)利潤(rùn)，因此整個(gè)數(shù)據(jù)采礦的核心必頇環(huán)繞在商業(yè)問(wèn)題上 ，而不似學(xué)術(shù)實(shí)驗(yàn)室僅專(zhuān)注于演算法的推導(dǎo)與程式撰寫(xiě)。 ?資訊單位與使用者單位間的溝通 ?配合法規(guī)以及外在環(huán)境應(yīng)變而改變既有的建模程序 ?成功的數(shù)據(jù)采礦顧問(wèn)必頇同時(shí)具有三大專(zhuān)業(yè)，分別是 算法與統(tǒng)計(jì)、數(shù)據(jù)庫(kù)與資訊平臺(tái)、產(chǎn)業(yè)專(zhuān)業(yè)知識(shí) ，三者缺一不可 業(yè)務(wù)理解（ Business Understanding） 側(cè)重點(diǎn)： ?運(yùn)用基礎(chǔ)統(tǒng)計(jì)以提升數(shù)據(jù)分析人員對(duì)數(shù)據(jù)的熟悉度，并同時(shí)驗(yàn)證數(shù)據(jù)的品質(zhì) ?分析數(shù)據(jù)的迷思：車(chē)流量與脈搏 ?錯(cuò)誤的取樣會(huì)導(dǎo)致錯(cuò)誤的結(jié)論 ?必頇透過(guò)跟案例間比較才能夠真正辨識(shí)出變數(shù)的意義 數(shù)據(jù)理解階段從初始的數(shù)據(jù)收集開(kāi)始，通過(guò)一些活動(dòng)的處理，目的是熟悉數(shù)據(jù)，識(shí)別數(shù)據(jù)的質(zhì)量問(wèn)題，首次發(fā)現(xiàn)數(shù)據(jù)的內(nèi)部屬性，或是探測(cè)引起興趣的子集去形成隱含信息的假設(shè)。 數(shù)據(jù)理解（ Data Understanding） 數(shù)據(jù)準(zhǔn)備階段包括從未處理數(shù)據(jù)中構(gòu)造最終數(shù)據(jù)集的所有活動(dòng)。這些數(shù)據(jù)將是模型工具的輸入值。這個(gè)階段的任務(wù)有個(gè)能執(zhí)行多次，沒(méi)有任何規(guī)定的順序。任務(wù)包括表、記錄和屬性的選擇，以及為模型工具轉(zhuǎn)換和清洗數(shù)據(jù)。 側(cè)重點(diǎn)： ?垃圾進(jìn)；垃圾出 (Garbage in, garbage out) ?數(shù)據(jù)預(yù)處理 ?連續(xù)變數(shù)類(lèi)別變數(shù)互換 ?遺漏值 ?極端值與標(biāo)準(zhǔn)化 ?衍生變數(shù)與篩選有效變數(shù) 數(shù)據(jù)準(zhǔn)備（ Data Preparation） 在這個(gè)階段，可以選擇和應(yīng)用不同的模型技術(shù)，模型參數(shù)被調(diào)整到最佳的數(shù)值。一般，有些技術(shù)可以解決一類(lèi)相同的數(shù)據(jù)挖掘問(wèn)題。有些技術(shù)在數(shù)據(jù)形成上有特殊要求，因此需要經(jīng)常跳回到數(shù)據(jù)準(zhǔn)備階段。 側(cè)重點(diǎn)： ?選擇 合適 的數(shù)據(jù)采礦 技術(shù) 與 設(shè)定 最佳的 參數(shù) 以建立模型 建模（ Modeling） 到項(xiàng)目的這個(gè)階段，你已經(jīng)從數(shù)據(jù)分析的角度建立了一個(gè)高質(zhì)量顯示的模型。在開(kāi)始最后部署模型之前，重要的事情是徹底地評(píng)估模型，檢查構(gòu)造模型的步驟，確保 模型可以完成業(yè)務(wù)目標(biāo)。這個(gè)階段的關(guān)鍵目的是確定是否有重要業(yè)務(wù)問(wèn)題沒(méi)有被充分的考慮。在這個(gè)階段結(jié)束后，一個(gè)數(shù)據(jù)挖掘結(jié)果使用的決定必須達(dá)成。 側(cè)重點(diǎn)： ?使用訓(xùn)練數(shù)據(jù)集 (Training dataset)建立預(yù)測(cè)模型 . ?使用鑒效數(shù)據(jù)集 (Validation dataset)來(lái)避免模型對(duì)于訓(xùn)練數(shù)據(jù)集產(chǎn)生記憶效應(yīng) ?使用測(cè)試數(shù)據(jù)集 (testing dataset)來(lái)選擇模型以及測(cè)量模型在預(yù)測(cè)未知數(shù)據(jù)的能力 評(píng)估（ Evaluation） 通常，模型的創(chuàng)建不是項(xiàng)目的結(jié)束。 模型的作用是從數(shù)據(jù)中找到知識(shí) ，根據(jù)需求，這個(gè)階段可以產(chǎn)生簡(jiǎn)單的報(bào) 告，或是實(shí)現(xiàn)一個(gè)比較復(fù)雜的、可重復(fù)的數(shù)據(jù)挖掘過(guò)程。在很多案例中，這個(gè)階段是由客戶(hù)而不是數(shù)據(jù)分析人員承擔(dān)部署的工作。 部署（ Deployment） 大數(shù)據(jù)已成為國(guó)家、企業(yè)乃至個(gè)人的重要資源 而 使用大數(shù)據(jù)的能力 則成為國(guó)家、企業(yè)與個(gè)人的 核心競(jìng)爭(zhēng)力 當(dāng)數(shù)據(jù)、技術(shù)與硬件都到位后的最后一哩路：就是 創(chuàng)意 創(chuàng)意思考方法分享 創(chuàng)意思考就要變 ? 知變：了解趨勢(shì)變化 ? 應(yīng)變：掌握問(wèn)題解決 ? 創(chuàng)變：創(chuàng)新創(chuàng)意思考 世界唯一不變的，就是一切都在變 創(chuàng)意思考那里找 ? 從過(guò)去經(jīng)驗(yàn)找靈感 ? 從現(xiàn)在問(wèn)題找機(jī)會(huì) ? 從未來(lái)想象新創(chuàng)意 ? 身邊需求看到機(jī)會(huì) ? 報(bào)紙雜志趨勢(shì)創(chuàng)意 ? 跨界旅行刺激靈感 ? 朋友對(duì)談激發(fā)創(chuàng)意 ? 大師專(zhuān)家分享實(shí)務(wù) ? 異業(yè)學(xué)習(xí)啟發(fā)創(chuàng)新 天時(shí) 地利 人和 水平思考 信息或問(wèn)題 創(chuàng)新 (產(chǎn)品創(chuàng)新、行銷(xiāo)創(chuàng)新、管理創(chuàng)新 …) 垂直思考 ?強(qiáng)調(diào)邏輯與推論 ?重視選擇 ? 強(qiáng)調(diào)不同角度觀察 ? 重視多元 綜合思考 … Why … 圖象思考 … … 創(chuàng)意思考的方法－ 水平、垂直、綜合 「創(chuàng)意」是新而有用的想法 新奇獨(dú)特 不同于一般人所會(huì)產(chǎn)生的想法或物品。 合適可用 不論是想法或物品一定要有它的功能，換言之，就是有用。 重要貢獻(xiàn) 想法或物品要有發(fā)展的前途，才能對(duì)社會(huì)產(chǎn)生具體貢獻(xiàn)。 精致復(fù)雜 品質(zhì)越高，想法或物品越重要，創(chuàng)意也越高。 新奇獨(dú)特 合適可用 精致復(fù)雜 重要貢獻(xiàn) 行動(dòng) 會(huì)帶來(lái)更多的行動(dòng)！ 創(chuàng)造 會(huì)帶來(lái)更多的創(chuàng)造！ 匯報(bào)完畢 敬請(qǐng)指導(dǎo) 智能生活 (2)視頻 5分鐘 演講完畢，謝謝觀看！
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號(hào)-1