【文章內(nèi)容簡介】 過1億條。如此大的數(shù)據(jù)通過Hadoop實現(xiàn)了MapReduce 計算模型的開源分布式并行編程框架，公司服務器可以借助Hadoop 編寫程序，將所編寫的程序運行于計算機機群上，從而實現(xiàn)對海量數(shù)據(jù)的處理。此外，通過分布式文件系統(tǒng)(HDFS）及分布式數(shù)據(jù)庫（HBase）用來將數(shù)據(jù)存儲或部署到各個計算節(jié)點上，保證了本地和在線的數(shù)據(jù)定時更新，補全與管理。借助Hadoop 框架及云計算核心技術MapReduce 來實現(xiàn)數(shù)據(jù)的計算和存儲，并且將HDFS 分布式文件系統(tǒng)和HBase 分布式數(shù)據(jù)庫很好的融入到亞馬遜AWS云計算框架中，已經(jīng)實現(xiàn)了云計算的分布式、并行計算和存儲，并且擁有處理大規(guī)模數(shù)據(jù)的能力。 技術創(chuàng)新：項目技術創(chuàng)新性及實現(xiàn)路徑 技術創(chuàng)新點創(chuàng)新點1：自主開發(fā)搜索引擎自主開發(fā)搜索引擎框架，可以基于自身數(shù)據(jù)，對世界所有主流社交平臺、信息平臺進行搜索與分類。用全互聯(lián)網(wǎng)的數(shù)據(jù)及計算結(jié)果為用戶提供選擇幫助。比如一家商鋪除了看到來自“四萬公里”的點評，還同時可以看到來自facebook、yelp，twitter，新浪微博、騰訊微信等平臺所有用戶關于同一家的評論、圖片等。創(chuàng)新程度：國內(nèi)首創(chuàng)，在搜索引擎這一專業(yè)技術領域針對某個方向做出細分，并生成數(shù)據(jù)性結(jié)果而不是信息頁性結(jié)果。創(chuàng)新難點：眾所周知，每個網(wǎng)站都有自己獨特的數(shù)據(jù)形式、展現(xiàn)、加載方式。每家網(wǎng)站的頁面布局、JS效果、分屏和跳轉(zhuǎn)也都各有不同。用一套通用性的爬蟲技術，實現(xiàn)了對所有目標網(wǎng)站數(shù)據(jù)的爬去、搜集、入庫，同時將所得數(shù)據(jù)清洗、比對、分類后入庫。這類搜索引擎所涉及技術必須是凌駕于通用搜索引擎之上才可以實現(xiàn)。創(chuàng)新點2：所有外文信息中文化上述所有評論無論是何種語言，均可以一鍵轉(zhuǎn)化為中文，保證了對所有中國用戶的適用性。創(chuàng)新程度：國內(nèi)出境旅行App類首創(chuàng)。由于本產(chǎn)品主要針對出境旅行以及常年生活在國外的用戶，所以很多信息與評論均為國外用戶所發(fā)布。通過即時的翻譯系統(tǒng)，讓中國出境用戶無論面對何種外語，何種國家的用戶評論，都可以得到對應的中文翻譯。創(chuàng)新難點：很多軟件和翻譯機器都可以實現(xiàn)外文的初步翻譯，但是如何把機械性的翻譯轉(zhuǎn)化為可讀性較高、意思傳達較友好的層次，就需要后續(xù)通過不斷優(yōu)化算法，不斷對語法數(shù)據(jù)庫進行填充積累來實現(xiàn)。創(chuàng)新點3：海量境外POI數(shù)據(jù)作為服務依托通過自身2年多的積累。獲得了27個國家與地區(qū)的300萬家商鋪POI信息，保證了中國用戶走在全世界都可以享受到服務的同事，形成了絕對的壁壘。創(chuàng)新程度：中國最大境外POI數(shù)據(jù)庫平臺。創(chuàng)新難點：LBS服務的難點之一是精準的定位,這部分可以通過采用當下流行的定位技術和不斷優(yōu)化的移動WIFI，GPS接收芯片等硬件來彌補。但是最基礎的POI數(shù)據(jù)，卻是需要人工收集和網(wǎng)絡搜集并行來處理。項目前期我們在海外組織了多個留學生為主的數(shù)據(jù)采集組，實地在國外中國游客重點區(qū)域中采集整理了數(shù)以萬計的餐廳數(shù)量。 產(chǎn)品實現(xiàn)技術路線海量的基礎資源和用戶UGC基礎數(shù)據(jù)：（1）首先利用自主開發(fā)搜索引擎，將現(xiàn)有數(shù)據(jù)和POI進行數(shù)據(jù)分類與格式化。（2)通過云主機群應用、網(wǎng)格技術以及分布式文件系統(tǒng)等功能，來對外提供數(shù)據(jù)存儲和業(yè)務訪問功能；(3)利用阿里云主機提供的RDS服務搭建數(shù)據(jù)庫，并設置安全管理機制。(4)利用阿里云提供的OSS服務，對新生成文件進行云端存儲與格式分類。(5)在亞馬遜EC2云主機中架設Hadoop集群，對現(xiàn)有數(shù)據(jù)進行對比，分類，清洗，入庫。(6)在產(chǎn)品前段對用戶交互進行系統(tǒng)分類與步驟精細化設置。前端產(chǎn)品實現(xiàn)技術路線：(1)在項目的前端開發(fā)中，GCD技術被大量的應用在后臺線程和UI線程的交互上，使得數(shù)據(jù)處理邏輯趨向簡單化。面對大量的高并發(fā)非實時數(shù)據(jù),采用緩存技術提高用戶體驗，解決了在網(wǎng)絡狀態(tài)差的情況下依舊有良好的操作體驗，軟件中繼承了著名的圖片下載框架和網(wǎng)絡請求框架，并獨立完成了封裝網(wǎng)絡請求工具類的復雜操作。(2)軟件架構嚴格遵守MVC的設計模式,使得數(shù)據(jù)耦合性低,模塊的重用性高,使得APP賦予了無限的活力：(3)界面：在系統(tǒng)自帶控件的基礎上增加符合用戶使用習慣的控件，在最大的程度上保證了用戶的使用習慣和用戶粘性(4)網(wǎng)絡：使用以高性能的AFNetworking網(wǎng)絡通信類為基礎進行復雜封裝,，又能感受到無限順暢的網(wǎng)絡享受(5)UI： 大量自定義界面,華麗而細膩的界面，提供了優(yōu)質(zhì)的用戶體驗網(wǎng)絡架構：網(wǎng)絡架構由中心為CDN網(wǎng)管中心和DNS重定向中心來負責全局負載均衡，和異地結(jié)點組成。當用戶訪問此項目的服務器時，域名解析器將請求交給全局負責均衡DNS來處理。通過提前定義好的方法，離用戶最近的異地結(jié)點的地址將會被用來向用戶提供快速的服務。同時，異地結(jié)點可以與CDNC分布在全球每個位置的結(jié)點保持通信并搜集所有的通信狀態(tài)，來確保所有的CDN結(jié)點可用。每個CDN結(jié)點由兩部分組成：負載均衡設備和高速緩存服務器。負載均衡設備負責每個結(jié)點中所有Cache的負載均衡，并保證了每個點的效率；同時，負責均衡設備還可以收集結(jié)點與環(huán)境的信息，保持同心并實現(xiàn)所有結(jié)點的負載均衡。高速緩存服務器負責存儲客戶網(wǎng)站的大量信息，以實現(xiàn)類似用戶訪問本地網(wǎng)站服務器。市場分析：對細分市場的規(guī)模、競爭者分析。真實、合理、具體 市場產(chǎn)品需求： 自2011年以來，中國已成為世界上第一大客源國，穩(wěn)居世界第一大出境旅游市場與第一大出境旅游消費國；直至2014年，出境市場仍然將保持快速增長的態(tài)勢，同比增長16%。未來5年中國出境旅游人數(shù)將超過4億人次。未來十年中國的出境旅游人次可能將再翻一番。隨著中國成為世界最大智能手機大國，從獲取旅游信息、旅游預訂到分享旅游經(jīng)驗，各類手機應用成為輔助出境旅游的最主要工具。 我國出境旅游市場以OTA酒店機票預定（攜程、藝龍）、垂直比價搜索（去哪兒、淘寶旅行）、提供旅游產(chǎn)品服務（途牛、驢媽媽）及旅游信息分享（窮游、螞蜂窩）四類為主，旅游信息分享以攻略和社區(qū)為主。（。在當?shù)厣畹牧魧W生、移民華人要比一生可能只去過一次待了2個小時的游客提供的所謂的攻略翔實可靠的多。你用幾個月前的攻略去了發(fā)現(xiàn)已經(jīng)關門了？是否在裝修？是否可以打折等信息是短期游客所無法提供的。）在眾多以主觀攻略型切入針對旅行前服務網(wǎng)站大量涌現(xiàn)，信息集中在與商家合作發(fā)布優(yōu)惠、競價排名、植入吃住游關鍵鏈信息等利益捆綁的盈利行為，用戶也愈加感覺到這些攻略型信息喪失客觀性與實用性。在我國目前旅游市場中，預訂類、比價類、產(chǎn)品類、攻略類應用定位在旅行前，干預旅行前的計劃和決策，國內(nèi)旅游市場缺乏專門針對中國人出境的旅行中決策工具，四萬公里針對華人出境后的旅行現(xiàn)場這一環(huán)節(jié)，結(jié)合華人CGC中文消費評價+POI的信息獲取，用更加符合中國人口味和習慣的工具型切入，解決旅游市場中旅行中服務這一空白。 產(chǎn)品市場目標群體四萬公里服務于我國出境旅行的用戶，在市場規(guī)模不斷擴大的過程中出境旅游的市場需求和現(xiàn)實消費迅速平民化與多元化。根據(jù)國家旅游局中國旅游業(yè)統(tǒng)計公報顯示，這些客源都將是四萬公里的直接用戶。競爭對手分析：項目產(chǎn)品、模式與主要競爭企業(yè)同類產(chǎn)品的比較競爭優(yōu)勢。(1) 從產(chǎn)業(yè)鏈上下游產(chǎn)品情況來看　整體來看，出境旅游產(chǎn)業(yè)鏈正從單一渠道發(fā)展到現(xiàn)在旅行社、要素預訂、比價、攻略四大形態(tài)同時共存，旅游渠道正在迅速擴張和多樣化?！八娜f公里”項目所在的出境旅游業(yè)的同業(yè)競爭者主要為大眾點評海外版類點評機構、螞蜂窩、窮游類攻略平臺、攜程類旅行前服務機構。 針對為大眾點評海外版類點評機構而言，其主要市場仍是國內(nèi)市場，雖然其海外市場正處于開拓階段，但其數(shù)據(jù)量和開拓進步較緩，其自身規(guī)模決定其將在未來較長一段時間內(nèi)處于尾大不掉的狀態(tài)； 螞蜂窩、窮游類攻略平臺主要是通過攻略類軟文吸引出境旅游者，但是因攻略本身的滯后性，難以為出境華人消費者提供及時準確的服務和指導，且攻略受個人的主觀因素影響和商業(yè)信息植入影響較大，因此難以全面客觀的反映消費地的真實情況；攜程類旅行前服務機構主要是為消費者出境前準備階段的機票、酒店提供服務，去哪等預訂比價網(wǎng)站快速興起，為消費者提供了更加透明化的價格平臺，此類網(wǎng)站集中了大量的用戶流量，也形成了強大的議價能力，但難以滿足旅行過程中的及時服務。(2)從同類競爭對手產(chǎn)品，策略，特色，運營數(shù)據(jù)，投融資狀態(tài)來看 以國內(nèi)同類競爭對手為例：產(chǎn)品名稱大眾點評到到網(wǎng)口碑旅行四萬公里策略主要針對國內(nèi)一線城市消費決策利用TripAdvisor的品牌和資源互聯(lián)網(wǎng)點評抓取專業(yè)針對境外旅行用戶提供專業(yè)境外信息特色點評信息、優(yōu)惠、團購國外酒店涉足較早出身于酷訊擁有中國最大境外POI信息運營數(shù)據(jù)移動端超過3000萬人，商戶超過150萬家覆蓋全球40多個國家酒店及旅游相關現(xiàn)有美國，泰國2個國家，只有安卓應用10個月用戶超過200萬，擁有300萬家全世界商鋪信息投融資狀態(tài)四輪融資：2006年紅杉資本的首輪100萬美金投資。2007年Google帶來的400萬美金投