【正文】 章 投資策略的基本產(chǎn)品分析 9 第 三 章 數(shù)據(jù)挖掘技術(shù)的概述 數(shù)據(jù)挖掘就是在大量的數(shù)據(jù)中進(jìn)行規(guī)律化的綜合性分析，從中找出對(duì)事實(shí)發(fā)展較為有用的數(shù)據(jù)和物質(zhì)發(fā)展規(guī)律，整體過(guò)程需要進(jìn)行數(shù)據(jù)準(zhǔn)備、規(guī)律性分析、得出結(jié)果等步驟，所涉及的方法較多 例如相關(guān)性分析、聚類分析、異常性分析、演變分析等等它將傳統(tǒng)的分析方法與海量數(shù)據(jù)的處理相結(jié)合 數(shù)據(jù)挖掘是探查和分析大量數(shù)據(jù)以發(fā)現(xiàn)有意義的模式和規(guī)則的過(guò)程 [7]。在此期間 用戶必須借助相應(yīng)的數(shù)據(jù)挖掘工具來(lái)發(fā)現(xiàn)并找出數(shù)據(jù)中隱藏的規(guī)律，為了做出決策提自動(dòng)化的、供智能的輔助手段。 數(shù)據(jù)爆炸 的形成 電子 信息技術(shù)高速發(fā)展，帶動(dòng)了整體數(shù)據(jù)庫(kù)技術(shù)的發(fā)展，不再像以前一樣只是用于科學(xué)研究和探討，取而代之的使用在更多的實(shí)際現(xiàn)實(shí)生活當(dāng)中，從而大量的信息數(shù)據(jù)被收納到了現(xiàn)在的數(shù)據(jù)庫(kù)中， 雖然技術(shù)在不斷成長(zhǎng)，但是在統(tǒng)計(jì)以后的分析中的技術(shù)卻尚未成熟， 不能及時(shí)做好分析工作，這就導(dǎo)致了大量的數(shù)據(jù)涌入，而并不能及時(shí)處理，這樣就造成了一個(gè)現(xiàn)象：各方面數(shù)據(jù)很充分但是實(shí)用性很低，造成了“數(shù)據(jù)大爆炸但只是很匱乏”的現(xiàn)象 [13]。所謂的專家系統(tǒng)，就是采用這樣的方法，但是它投資巨大但是效果并不理想， 到了 80 年代，人們重新總結(jié)了神經(jīng)網(wǎng)絡(luò)理論， 并在新的理論指導(dǎo)下，重新回到機(jī)器學(xué)習(xí)這個(gè)角度，并且人們將成果首次運(yùn)用到了大型的綜合商業(yè)數(shù)據(jù)庫(kù)中，該技術(shù)由此成為了 80 年 代末的新術(shù)語(yǔ)，即 KDD。但是最近人們開始使用某些統(tǒng)計(jì)方法來(lái)代替數(shù)據(jù)挖掘中的許多工作，并且他們認(rèn)為最好的方法是將統(tǒng)計(jì)方法和數(shù)據(jù)挖掘有機(jī)的結(jié)合起來(lái)。 數(shù)據(jù)挖掘在 商業(yè) 層面的含義 在商業(yè)層面，數(shù)據(jù)挖掘?qū)嶋H上就是對(duì)海量的商業(yè)數(shù)據(jù)進(jìn)行更為有效和細(xì)致的分析方法，在以前來(lái)說(shuō)，一般都是用于科學(xué) 領(lǐng)域研究工作，隨時(shí)間的發(fā)展也被更多的引用到民用商業(yè)方面研究，很多的數(shù)據(jù)其實(shí)都是偶然情況下產(chǎn)生的，并不是一種刻意的行為，分析這些目的是為了攫取更多的對(duì)商業(yè)有價(jià)值的信息，從中獲得更多的商業(yè)價(jià)值，然后是企業(yè)得以發(fā)展得到更多利潤(rùn)，但是面對(duì)海量數(shù)據(jù)的處理，現(xiàn)有技術(shù)還是不能做到足夠的完善，還是有很大的發(fā)展空間，發(fā)現(xiàn)這些偶然性的商業(yè)信息就相當(dāng)于礦中掘金，因此，也將其命名為數(shù)據(jù)挖掘，其商業(yè)的目的也可以描述為，更好地幫助企業(yè)快速的發(fā)展成長(zhǎng)更有效的去優(yōu)化企業(yè)的整體。先前未知的信息是指該信息在之前從未預(yù)料到，并且沒有靠直覺發(fā)現(xiàn)的信息和知識(shí)，甚至是違背直覺的信息和知識(shí)，所發(fā)現(xiàn)越有價(jià)值的信息往往越是出乎意料的，常人用直覺根本不能發(fā)現(xiàn)的。 數(shù)據(jù)挖掘的常用 技術(shù) 數(shù)局挖掘算法的優(yōu)劣直接決定所發(fā)現(xiàn)的知識(shí)的價(jià)值性，以及所發(fā)現(xiàn)的知識(shí)的可實(shí)際應(yīng)用程度。 數(shù)據(jù)挖掘技術(shù)能夠有效的處理數(shù)據(jù)庫(kù)中的海量數(shù)據(jù)，能夠更好的對(duì)數(shù)據(jù)進(jìn)行分析和挖掘，從 而得出最精確的數(shù)據(jù)結(jié)果。 聚類分析 所謂聚類即指把整體的一個(gè)數(shù)據(jù)庫(kù)中的各種信息按照他們共有的特點(diǎn)將它們分為不同的群組。此外，聚類分析還能夠在其他算法中充當(dāng)預(yù)處理步驟 [9]。 聚類方法也可以細(xì)分為統(tǒng)計(jì)方法和神經(jīng)網(wǎng)絡(luò)方法。簡(jiǎn)單的，可以將關(guān)聯(lián)分為單純性關(guān)聯(lián)、時(shí)間關(guān)聯(lián)和因果關(guān)聯(lián)，涉及到的參數(shù)可以引入興趣度、相關(guān)性等等這樣做的目的是為了是所挖掘的規(guī)則更符合實(shí)際。 第三章 投資策略的基本產(chǎn)品分析 12 回歸分析 回歸分析在于確定某幾種變數(shù)之間相互依賴的一種定量關(guān)系，應(yīng)用實(shí)際中非常廣泛，按照其自變量的不同可以大致分為一元回歸分析和多元回歸分析。 預(yù)測(cè)分析 預(yù)測(cè)分析是指根據(jù)以往的歷史數(shù)據(jù)從中找出變化規(guī)律，運(yùn)用方法建立模型，通過(guò)此模型對(duì)未來(lái)數(shù)據(jù)的種類和可能產(chǎn)生的特點(diǎn)進(jìn)行準(zhǔn)確預(yù)測(cè)，我們通常使用預(yù)測(cè)方差這個(gè)方法來(lái)度量其預(yù)測(cè)結(jié)果的精度和不確定性 [11]。 偏差分析 數(shù)據(jù)發(fā)展現(xiàn)狀、數(shù)據(jù)本身的歷史記錄以及數(shù)據(jù)標(biāo)準(zhǔn)這三者存在顯著變化，而偏差分析就是探測(cè)這三者之間的偏離，然后通過(guò)分析得出相應(yīng)的結(jié)果并應(yīng)用到實(shí)際的生產(chǎn)經(jīng)營(yíng)當(dāng)中。這時(shí)候數(shù)據(jù)挖掘應(yīng)運(yùn)而生，作為信息技術(shù)發(fā)展的關(guān)鍵，正顯現(xiàn)其巨大的商業(yè)價(jià)值，在金融領(lǐng)域也亦如此，中國(guó)的金融企業(yè)若想有所發(fā)展，就必須從“產(chǎn)品導(dǎo)向”的市場(chǎng)營(yíng)銷經(jīng)營(yíng)理念向“客戶導(dǎo)向”轉(zhuǎn)變。 對(duì)客戶價(jià)值的分析 在做這項(xiàng)分析行為之前，我們一般要選擇分類客戶，然后根據(jù)“二八原則”，從中找到我們所需要的重點(diǎn)客戶（這里所提到的重點(diǎn)客戶，是指為銀行創(chuàng)造了八成價(jià)值中的客戶中的兩成的客戶） ，對(duì)這些重點(diǎn)客戶我們要實(shí) 行最為優(yōu)質(zhì)的服務(wù)，創(chuàng)造我們的效益，對(duì)于如何 這些重點(diǎn)客戶 這一難題，我們一般使用諸如系統(tǒng)數(shù)據(jù)處理、 AI 等數(shù)據(jù)統(tǒng)計(jì)分析技術(shù)來(lái)實(shí)現(xiàn)。 第四章 多元統(tǒng)計(jì)對(duì)客戶投資的細(xì)分 14 對(duì)客戶行為的分析 通過(guò)找到的重點(diǎn)客戶，我們能夠發(fā)現(xiàn)客戶的行為偏好，從而根據(jù)他們的需要為他們定制專屬的特色服務(wù)，從而提高客戶對(duì)企業(yè)的忠誠(chéng)度，對(duì)不同群組之間的客戶進(jìn)行交叉分析后，我們可以發(fā)現(xiàn)客戶群體間的變化規(guī)律，并且通過(guò)對(duì)數(shù)據(jù)庫(kù)的進(jìn)一步分析和統(tǒng)計(jì)，我們會(huì)將最具代表性的數(shù) 據(jù)放到我們的數(shù)據(jù)庫(kù)中，從而讓企業(yè)配合我們得到的數(shù)據(jù)結(jié)論，制定更加符合企業(yè)發(fā)展的市場(chǎng)策略。 基于多元統(tǒng)計(jì)的數(shù)據(jù)處理流程 首先進(jìn)行前期的準(zhǔn)備工作，包括數(shù)據(jù)信息的收集和預(yù)處理，收集就是搜索與工作對(duì)象有關(guān)的數(shù)據(jù)信息，并且從中 選出最具代表性的資料以便通過(guò)分析得出最具代表性的答案， 預(yù)處理就是進(jìn)一步篩選信息，提高數(shù)據(jù)的整體質(zhì)量，為接下來(lái)的分析做到充分的準(zhǔn)備，確定要使用的統(tǒng)計(jì)操作類型。 數(shù)據(jù)的采集和與處理過(guò)程 本篇論文通過(guò)對(duì)天津市當(dāng)?shù)貛准一鸸?、證券公司、銀行、以及期貨公司中所掌握的部分重點(diǎn)客戶信息的收集對(duì)其進(jìn)行預(yù)處理，然 后運(yùn)用 SPSS 軟件 對(duì)相關(guān)數(shù)據(jù)進(jìn)行深入挖掘分析，主要運(yùn)用相關(guān)性分析，以及聚類分析對(duì)數(shù)據(jù)進(jìn)行深入采集，為了便于數(shù)據(jù)的定量處理，進(jìn)行的編碼化，相關(guān)的數(shù)據(jù)維度以及編碼含義如下表所示： 第四章 多元統(tǒng)計(jì)對(duì)客戶投資的細(xì)分 15 表 41 天津市金融投資客戶數(shù)據(jù)樣本維度及相關(guān)代碼 性別的代替數(shù)值 男 1 女 2 投資額代替數(shù)值 5W以下 1 5W10W 2 10W20W 3 20W以上 4 投資品種 基金 1 股票 2 期貨 3 銀行理財(cái)產(chǎn)品 4 儲(chǔ)蓄 5 工作職業(yè) 學(xué)生 1 教師 2 車企員工 3 銀行 4 公務(wù)員 5 醫(yī)生 6 外企 7 金融投資 8 退休 9 其他 0 圖 41 各項(xiàng)數(shù)據(jù)的無(wú)綱量化表示 第四章 多元統(tǒng)計(jì)對(duì)客戶投資的細(xì)分 16 圖 42 各個(gè)數(shù)據(jù)的變量數(shù)據(jù)維度項(xiàng) 金融投資數(shù)據(jù)的統(tǒng)計(jì)和分析 性別、年齡和投資額的 統(tǒng)計(jì) 分析 （ 1）性別、年齡和投資額的相關(guān)性分析 表 41 各數(shù)據(jù)的代替數(shù)值 性別的代替數(shù)值 男 1 女 2 投資額代替數(shù)值 5W以下 1 5W10W 2 10W20W 3 20W以上 4 注： 由于年齡使用的是具體數(shù)值而不是范圍，這里不在需要用數(shù)值代替。 由圖 45我們可以看出，性別與投資額的相關(guān)性為 ,而年齡和投資額的相關(guān)性高達(dá) ， 這說(shuō)明，性別、年齡與投資額成顯著相關(guān)關(guān)系，他們之間存在著相關(guān)性。 （ 3）性別、年齡和投資額的 K 均值聚類 表 43 性別、年齡與投資額的最終聚類中心 聚類 1 2 3 4 性別 1 1 1 1 年齡 59 48 37 26 投資額 3 3 3 2 表 44 每個(gè)聚類中的案例數(shù) 聚類 1 2 3 4 有效 缺失 .000 由表 43和表 44的聚類結(jié)果可以知道 ，根據(jù)計(jì)算機(jī)所得出的結(jié)論，在 1127個(gè)有效數(shù)據(jù)中，第一類為 59歲左右的男性投資 額在 10W20W之間，第二類為 48歲左右的男性，投資額在 10W20W之間，第三類為 37歲左右的男性投資額同樣為 1020W之間，第四類為年齡在 26歲左右的男性投資額為 5W10W。 （ 1）年齡、職業(yè)和投資額的相關(guān)性分析 表 46 職業(yè)、年齡與投資額的相關(guān)性分析 職業(yè) 年齡 投資額 職業(yè) Pearson 相關(guān)性 1 .523** .413** 顯著性（雙側(cè)） .000 .000 N 1126 1126 1126 年齡 Pearson 相關(guān)性 .523** 1 .573** 顯著性（雙側(cè)） .000 .000 N 1126 1127 1127 投資額 Pearson 相關(guān)性 .413** .573** 1 顯著性（雙側(cè)） .000 .000 N 1126 1127 1127 **. 在 .01 水平（雙側(cè)）上顯著相關(guān)。 第四章 多元統(tǒng)計(jì)對(duì)客戶投資的細(xì)分 19 （ 2）年齡、職業(yè)和投資額的二步聚類分析 圖 44 職業(yè)年齡和投資額的二步聚類分析 由圖 44中的兩步聚類，計(jì)算機(jī)顯示此聚類分析輸入特征為 3應(yīng)分成 4類最為有效，即提示我們將在 K均值聚類分析的過(guò)程中把所分析的數(shù)據(jù)設(shè)定為 4類。 （ 1） 年齡、性別和投資品種的相關(guān)性分析 表 410 性別、年 齡與投資品種相關(guān)性分析 性別 年齡 投資品種 性別 Pearson 相關(guān)性 1 .052 .183** 顯著性（雙側(cè)） .082 .000 N 1127 1127 1127 年齡 Pearson 相關(guān)性 .052 1 .139** 顯著性（雙側(cè)） .082 .000 N 1127 1127 1127 投資 品種 Pearson 相關(guān)性 .183** .139** 1 顯著性（雙側(cè)） .000 .000