【正文】 大數據處理模式 大數據處理模式 從傳統的數據庫集群演進到云計算 Map Reduce 大規(guī)模并行處理架構，實現任務的分解處理和結果合并，從而實現對可處理數據規(guī)模的無限擴展，大數據處理技術已被認為是繼云計算、物聯網之后 IT 產業(yè)又一次顛覆性的技術變革。 大數據的 IT基礎云計算架構 云計算是新型分布式網絡計算架構，特別 適合向各種網絡應用提供計算、存儲、網絡、軟件等在線服務， NIST 認為這種架構具有 5 個關鍵功能、 3 種服務模式和 4 種部署 式。電商數據分析的兩大趨勢和挑戰(zhàn)是：數據量的膨脹；數據深度分析需求的增長。 電子商務中數據倉庫系統的發(fā)展 當前，電子商務的數據大規(guī)模存在且持續(xù)增長，表現大數據技術與應用為大規(guī)模、分布式、異構性，使得電商數據倉庫系統發(fā)生了顯 著變化：數據量由 TB級升至 PB 級，并仍在持續(xù)爆炸式增長。 大數據時代電商 IT 基礎設施的變革 后互聯網時代， PC 服務器成為電商企業(yè)最廣泛使用的 IT 基礎設施，隨著業(yè)務量的發(fā)展，電商企業(yè)大量使用了 PC服務器集群技術和小型機技術，用于滿足日益增長的在線業(yè)務交易量。因為系統早已計算好，如果顧客的購物車中有不少啤酒、紅酒和沙拉，那么 80%的可能需要買配酒小菜和相關佐料。值得強調的是，以上所述并非僅是概念化場景。更好地進行顧問式營銷。 Ad Exchange為出價高 的 DSP 匹配相關廣告代碼，并最終作出廣告。而如今有了 RTB，廣告需要盯住的不是滿地跑的 ” 學生 ” ，而是那個喜歡看廣告的目標客戶；廣告市場上賣的也不是傳統意義上的廣告位，而是訪問這個廣告位的具體用戶。在美國，通過大數據的幫助， RTB（實時競價廣告）能把炙手可熱的目標用戶拍賣給廣告商。然而隨著大數據的發(fā)展，產業(yè)界樂觀地預期：這些錢或許將被一一撿回來。眾所周知，時下市場上大部分廣告并非 ” 點對點 ” 模式，而 是 ” 主從 ” 模式。實現點對點智能廣告模式。利用大數據中的語義 搜索功能，系統能理解自然語言的含義，包括理解工作的頭銜、技能、行業(yè)、教育背景等，除此之外，系統還可以做到智能地處理拼寫 本科生畢業(yè)設計（論文） 21 錯誤、縮寫、標點符號等更多問題，也能識別相同的詞在不同語境中的含義，以更好地為營銷管理服務。如果某個客人是某酒店的老主顧，那么該大數據系統就會向酒店提供個性化服務，清楚告知酒店經理人這位客人的習慣和喜好，如是否喜歡景觀房間、是否吸煙、是否喜歡大床、喜歡什么樣的早餐，甚至從事什么工作、有哪些商務需求等等。通過獲取更豐富的消費者數據，包括網站瀏覽數據、社交數據和地理追蹤數據等，可以繪制出更完整的消費者行為描述。據稱，集成整合了 Essbase服務技術的 Oracle 大數據平臺，已經能為用戶提供面向策略級、未知信息分析預測能力和個性化自助式定制等。這些企業(yè)可將這些數據與交易記錄結合起來，并利用大數據工具展開分析，從而在銷售哪些商品、如何擺放貨品以及何時調整售價上給出意見，此類方法已經幫助這 些領先零售企業(yè)減少了 17%的存貨，同時增加了高利潤率自有品牌商品的比例。對營銷決策數據進行更好的優(yōu)化。 在 幾年之前，其可能被束之高閣，價值亦無法被有效挖掘。而研究顯示，這些信息只能滿足企業(yè)正常營銷管理需求中 15%的量能，并不夠給出一個重要洞察和發(fā)現規(guī)律。目前，全流量審計方案具備強大的實時檢測能力與事后回溯能力，并可將安全工作人員的分析能力、計算機存儲與運算能力組合在一起，是一種較完整的解決方案。 借助大數據創(chuàng)新處理技術應對 APT 安全攻擊。 將大數據時代全方位創(chuàng)新工作和智慧城市發(fā)展緊密結合。包括 IBM 、 EMC 、 HP、 Microsoft等在內的 IT 巨頭，紛紛加速收購相關大數據公司進行技術整合，尋找數據洪流大潮中新的立足點。實際上已經有一些運營商借助大數據 Hadoop 云工具管理與分析網絡中的用戶數據，為日常運維及制定市場戰(zhàn)略等提供有效支撐。 相應的問題解決方案分析 大數據時代應以智慧創(chuàng)新理念融合大數據與云計算，在大數據洪流中提升知識價值洞察力，實施高效實時個性化運作，建立有效增值的商業(yè)模式，確保應對 A PT 之類的新型安全威脅。 （ 2）企業(yè)應該從技術層面上采用先進的隱私保護技術進一步加強用戶的隱私保護，解決由于過度開發(fā)或者深度營銷可能造成的用戶隱私侵犯等等問題。信息加總和數據整合，對隱私的穿透力不僅僅是“ 1＋ 1＝ 2”的，很多時候，是大于 2 的。然而這些數據經常包含消費者的真實信息，如在淘寶網上交易時的真實姓名、家庭住址以及銀行賬號等重要的真實信息，逐漸引起了我們對個人隱私的擔憂。 大數據時代，網絡用戶在互聯網的評論、圖片、視頻、個人信息、興趣愛好、交易信息、訪問的網站等等均被企業(yè)記錄在案。然而，目前絕大多數中小型企業(yè)都沒有專門的競爭情報部門和情報分析專家，即使是在一些大型的企業(yè)中，具有競爭情報職能的部門也常常處于分散、被動、輔助的地位。 競爭情報體系組織模式 在大數據時代，數據逐 漸成為企業(yè)最重要的資產之一，決策行為將日益基于數據分析做出，而不是像過去更多憑借經驗和直覺。僅僅坐擁大數據并不夠，對大數據的分析和挖掘能力已成為企業(yè)的核心競爭力。該報告的第一個挑戰(zhàn)就是“數據”問題，即：“如何收集、保存、維護、管理、分析、共享正 在呈指數級別增長的數據是我們必須面對的一個重要挑戰(zhàn)”。也就是說，未來的信息提 煉需要 IT 技術人員和行業(yè)專家的共同合作。這一方面降低了情報分析的時效，另一方面也丟失了非結構化數據隱含的關系，而這些關系很有可能是非常重要的情報。首先在存儲上就是一個非常嚴重的問題。其次，企業(yè)需要重構其 IT架構，加大基礎設施的承載能力，租用足夠的空間，進一步加強信息化投資和建設，適應大數據時 代的要求。對于中小型電子商務企業(yè)來說，擁有大數據的挑戰(zhàn)將顯得更加的突出和嚴峻。此外，挖掘大數據的價值類似沙里淘金，由于大數據價 值密度低的特性更加增添了數據收集工作的巨大性和繁重性。當今極速爆炸的信息量遠遠超越了大部分企業(yè) IT架構和基礎設施的承載能力，其實時性要求也大大超越了現有的計算能力。數據就是電子商務企業(yè)的財富和金礦，誰擁有大數據，誰就有制勝的砝碼，誰就可能成為大贏 本科生畢業(yè)設計（論文） 17 家。如果采取無所作為、固守原狀的鴕鳥政策，那么企業(yè)競爭情報工作將會失去未來的發(fā)展機會，甚至會失去存在的意義。 尤為致命的是，大多數中小企業(yè)認為大數據是 Google、 Amazon、 Facebook、阿里巴巴、京東商城等公司才關心的技術。作為企業(yè)智囊團的競爭情報，應該主動地擁抱這種變化，構建基于大數據的競爭情報體系。作為構筑在數據分析和信息處理基礎上的競爭情報，它的發(fā)展將面臨著全新的信息空間所帶來的機遇和挑戰(zhàn)。隨著國內外產業(yè)發(fā)展風起云涌，大數據時代的浪潮奔騰而至，上海在相關領域積累了哪些先發(fā)優(yōu)勢？在大數據應用及產業(yè)化實踐方面有怎樣的發(fā)展思路？上海市經濟和信息化委員會主任李耀新所描繪的大數據產業(yè)發(fā)展藍圖，將為產業(yè)界帶來重要啟發(fā)。加快研發(fā)大數據關鍵技術，布局大數據產業(yè)鏈，推動大數據示范應用，對搶占新一輪信息產業(yè)發(fā)展制高點，具有重要意義。 IDC 則預 測大數據技術與服務市場將從 2020 年的 32 億美元攀升至 2020 年的 169 億美元。 本科生畢業(yè)設計（論文） 16 第 3 章 電子商務大數據時代面對的問題與挑戰(zhàn) 大數據作為新興產業(yè)熱點，在美國政府“大數據”計劃的引導和 IBM、甲骨文、EMC 等跨國企業(yè)的推動下，成為繼云計算、物聯網之后信息技術領域的又一亮點。第三，數據將成為資產。第二，行業(yè)會垂直整合。我們判斷公司價值的標準是其擁有數據的規(guī)模、活性，以及收集、運用數據的能力。時代變了，判斷企業(yè)價值的標準、判斷軟 件價值的標準也變了。第一，對大數據不關心，不了解。 這一輪的變革，事關絕大多數企業(yè)的命運。第二，互聯網公司強項恰恰是天然的貼近消費者，了解消費者。 這句話有兩層含義。索尼公司的創(chuàng)始人出井伸之解釋索尼衰落的根本原因時，說了一段發(fā)人深省的話：“新一代基于互聯網 DNA企業(yè)的核心能力在于利用新模式和新技術更加貼近消費者、深刻理解需求、高效分析信息并做出預判，所有傳統的產品公司都只能淪為這種新型用戶平臺級公司的附庸，其衰落不是管理能扭 轉的。 推動大數據技術在各行業(yè)普及的原動力，來自于企業(yè)改善自身經營水平、提升經營效率的需要。這種統計和分析，如果缺少大數據技術的支持，是難以完成的。詢盤指數是前兆性的，前期詢盤指數活躍，就會保證后期一定的成交量。統計歷史上所有買家、賣家的詢價和成交的數據，可以形成詢盤指數和成交指數。海關是賣了貨 ,出去以后再獲得數據；而我們提前半年時間從詢盤上推斷出世界貿易發(fā)生變化了。大數據技術技術讓我們看到解決未來預測問題的一絲曙光。 第一篇報告 —— 《大數據時代即將到來》，之所以用時代這個詞作為標題，是因為大數據是歷史上首個可以預測人類短期行為的技術。事實上大數據的來源非常廣泛，天上的衛(wèi)星、地上汽車、埋在土壤里面的各類傳感器，無時無刻不在生成大量的數據。要買商品，必先瀏覽，對比，詢價；要搞活動，必先征集、討論、策劃；互聯網上恰恰保留了大量的前兆性的數據，通過對這些數據的收集和分析，互聯網企業(yè)具備了預判物理世界中，人類未來行為的能力。但在互聯網上卻是“處處行跡處處痕”。我們不得不接受這個現實，每個人在互聯網進入到大數據時代，都將是透明性存在。我們在享受便利的同時，也無償貢獻 了自己的“行蹤”。因此，數字化時代，檔案館如何實現“數據化生存”，將是不得不慎重考慮的難題。以網絡為例，網絡信息資源的豐富使用戶足不出戶就可以獲取所需的信息，用戶對檔案館的穩(wěn)定性與忠誠度下降。然而，數據分析技術的發(fā)展，對國家安全及用戶隱私產生了極大威脅，數據持有人可以從歷史數據中推測判斷出行為人的下一步動作 —— 個人行動軌跡、行為軌跡，甚至思維軌跡。從基礎技 術角度而言，當前檔案館廣泛應用的關系型數據庫（ SQL）技術，經過長期實踐與完善，在維護數據安全方面已經設置了嚴格的訪問控制和隱私管理工具，而大數據依托的基礎技術是非關系型數據庫（ No SQL），其在成熟度和可訪問性方面都不如傳統數據庫技術。這些政策性文件及講話，將為大數據在檔案館中的應用帶來更多的政策支持，也為大數據時代檔案館的發(fā)展帶來更多機遇。 政策導向 2020 年國家檔案局《數字檔案館建設指南》頒布，提出運用多種技術手段“采集具有重要保存價值的各類數字信息，進行資源整合”、“對數字檔案信息進行深度挖掘，開展增值服務”、“開展檔案利用訪問量統 計、分布分析、輿情分析等工作”。隨著用戶信息素養(yǎng)的不斷提高，檔案用戶已從信息服務的“被動接受者”轉換為“主動選擇者”，他們更希望獲得一種為自己量身定做的個性化信息服務。隨著社會檔案意識的增強，“用戶關注的已不再是簡單的獲取文獻，而是如何從繁雜的信息環(huán)境中捕獲和析取解決所面臨問題的信息內容，并將這些信息融化或重組為相應的知識 或解決方案”。 機會分析 需求旺盛 隨著信息環(huán)境的變化和社會檔案意識的覺醒，用戶的檔案信息需求層面不斷加深，需求領域也不斷拓展。從目前來看，大數據成功的案例無 不是特定的項目，例如“啤酒與尿布”，因此，現階段檔案館人員最需要的是懂得用戶的需求，因為數據越大，用戶的個性需求就越多樣，服務切口就越小?！按髷祿菽绻F在存在的話，恐怕并非數據的作用被過分夸大，而主要是由于真正具備資質的數據科學家數量不足導致的。以 2020 年為例，全國各?。ǔ_灣外）、自治區(qū)、直轄市各級檔案館中具備博士學位且畢業(yè)于檔案學專業(yè)的工作人員為零，具備碩士學位且畢業(yè)于檔案學專業(yè)的工作人員只有 26 人，具備學士學位且畢業(yè)于檔案學專業(yè)的工作人員只有 1598 人。 人才瓶頸 在檔案事業(yè)快速發(fā)展的今天，我國的檔案人才隊伍建設卻不盡如人意。二是泛大數據化，即不加鑒別地收集保存數據，從而使檔案館陷入數據沼澤，進而喪失自己的特色，顯然這也是檔案館無法承受的。 劣勢分析 認識問題 作為一個檔案大國，幾千年檔案工作的歷史積淀在我國形成了豐富多彩的檔案文化，也形成了一套獨特的檔案思維模式?？疾鞌祿芷?，涉及到數據生成、采集、傳輸、處 本科生畢業(yè)設計（論文） 12 理、分析、應用等階段，而這也恰恰是檔案館熟悉的業(yè)務范疇。大數據時代，檔案館維護和傳承記憶的功能將更加重要，構建一個“基于互聯網的，以檔案數字資源為主體，以文本、圖片、音頻、視頻等為形式，為中華民族集體 記憶的建構和傳承提供文獻支撐的‘中國記憶’數字將成為檔案人新的目標與使命。 行業(yè)領先 首先，各級國家檔案館是集中統一保管黨和國家檔案的科學文化事業(yè)機構，是永久保管檔案的基地，是社會各界利用檔案史料的中心。再次，檔案館數據資源價值很高。其次，檔案館數據資源種類繁多。首先，檔案館信息資源總量龐大且增長迅速。因此為了保證對于新產生的應用有足夠的有效信息，通常必須保存所有數據，這樣就使得一方面是數據的絕對數量激增，一方面是數據包含有效信息量的比例不斷減少，數據價值密度偏低。傳統的結構化數據，依據特定的應用，對事物進行了相應的抽象，每一條數據都包含該應用需要考量的信息，而大數據為了獲取事