【正文】 DONOW 文 檔 編 號 版本 密級 DONOWTB001 V 開放 WebX3 框架分析 @CreateBy CNJUN @CreateDate 20200813 @ 第 1 頁 修改記錄 第 1 頁 目錄 WebX3 框架分析 ...................................................................................................................................... 1 修改記錄 ................................................................................................................................................ 1 目錄 ....................................................................................................................................................... 1 1. 淘寶技術(shù) .................................................................................................................................. 1 . 淘寶總述 ........................................................................................................................... 1 . 高性能可伸縮 .................................................................................................................... 4 . 應用無狀態(tài) ................................................................................................................ 4 . 有效使用緩存 ............................................................................................................. 5 . 應用拆分 .................................................................................................................... 5 . 數(shù)據(jù)庫拆分 ................................................................................................................ 7 . 異步通信 .................................................................................................................... 8 . 非結(jié)構(gòu)化數(shù)據(jù)存儲 ...................................................................................................... 9 . 監(jiān)控、預警系統(tǒng) ......................................................................................................... 9 . 配置統(tǒng)一管理 ............................................................................................................10 . 數(shù)據(jù)擴展性探討和總結(jié) .....................................................................................................10 . WebX.................................................................................................................................12 . 總述 ..........................................................................................................................12 . pipeline 與 valve.....................................................................................................18 . action 與 screen ......................................................................................................21 . 一個框架應用 ............................................................................................................25 第 1 頁 1. 淘寶 技術(shù) . 淘寶總述 淘寶網(wǎng)，是一個在線商品數(shù)量突破 一億，日均成交額超過兩億元人民幣，注冊用戶接近八千萬的大型電子商務網(wǎng)站，是亞洲最大的購物網(wǎng)站。那么對于淘寶網(wǎng)這樣大規(guī)模的一個網(wǎng)站，整個網(wǎng)站都采用了什么樣的技術(shù)、產(chǎn)品和架構(gòu)，是否采用了開源的軟件或者是完全采用的商業(yè)軟件。下面介紹一下淘寶網(wǎng)中應用的開源軟件。 對于規(guī)模稍大的網(wǎng)站來說，其 IT 必然是一個服務器集群來提供網(wǎng)站服務，數(shù)據(jù)庫也必然要和應用服務分開，有單獨的數(shù)據(jù)庫服務器。對于像淘寶網(wǎng)這樣規(guī)模的網(wǎng)站而言，就是應用也分成很多組。那么下面，我就從應用服務器操作系統(tǒng)、應用服務器軟件、 Web Server、數(shù)據(jù)庫、開 發(fā)框架等幾個方面來介紹一下淘寶網(wǎng)中開源軟件的應用。 操作系統(tǒng) 我們首先就從應用服務器的操作系統(tǒng)說起。一個應用服務器，從軟件的角度來說他的最底層首先是操作系統(tǒng)。要先選擇操作系統(tǒng)，然后才是操作系統(tǒng)基礎(chǔ)上的應用軟件。在淘寶網(wǎng)，我們的應用服務器上采用的是 Linux 操作系統(tǒng)。 Linux 操作系統(tǒng)從 1991 年第一次正式被公布到現(xiàn)在已經(jīng)走過了十七個年頭，在 PC Server 上有廣泛的應用。硬件上我們選擇 PC Server而不是小型機，那么 Server 的操作系統(tǒng)供我們選擇的一般也就是 Linux， FreeBSD, windows 2020 Server 或者 Windows Server 2020。如果不準備采用微軟的一系列產(chǎn)品構(gòu)建應用，并且有能力維護 Linux 或者 FreeBSD，再加上成本的考慮，那么還是應該在 Linux 和 FreeBSD之間進行選擇?？梢哉f，現(xiàn)在 Linux 和 FreeBSD 這兩個系統(tǒng)難分伯仲，很難說哪個一定比另外一個要優(yōu)秀很多、能夠全面的超越對手，應該是各有所長。那么在選擇的時候有一個因素就是企業(yè)的技術(shù)人員對于哪種系統(tǒng)更加的熟悉，這個熟悉一方面是系統(tǒng)管理方面，另外一方面是對于內(nèi)核的熟悉，對內(nèi)核的熟悉對于性能調(diào)優(yōu)和對 操作系統(tǒng)進行定制剪裁會有很大的幫助。而應用全面的優(yōu)化、提升性能也是從操作系統(tǒng)的優(yōu)化開始的。 應用服務器 在確定了服務器的硬件、服務器的操作系統(tǒng)之后，下面我們來說說業(yè)務系統(tǒng)的構(gòu)建。淘寶網(wǎng)有很多業(yè)務系統(tǒng)應用是基于 JEE 規(guī)范的系統(tǒng)。還有一些是 C/C++構(gòu)建的應用或者是 Java構(gòu)建的 Standalone 的應用。那么我們要選擇一款實現(xiàn)了 JEE 規(guī)范的應用服務器。我們的選擇是 JBoss Applcation Server。 JBoss AS是 RedHat的一個開源的支持 JEE規(guī)范的應用服務器。 第 2 頁 在幾年前，如果采用 Java 技術(shù) 構(gòu)建互聯(lián)網(wǎng)應用或者企業(yè)級應用，在開源軟件中的選擇一般也就是 Apache 組織的 Tomcat、 JBoss 的 JBoss AS 和 Resin。嚴格意義上講， Tomcat 和 Resin并不能算是一個應用服務器，他們是實現(xiàn)了部分 J2EE 規(guī)范的一個容器。而商業(yè)軟件的選擇就是 IBM 的 WebSphere 和 BEA 的 WebLogic。到了現(xiàn)在，除了 JBoss AS 外， Apache 的 Geronimo，Sun 的 Glassfish 也都是很優(yōu)秀的 JEE 應用服務器。也給現(xiàn)在的開發(fā)人員提供了更多的選擇。具體對于目前 JEE 應用服務器的比較。這邊就 不在贅述。 在應用服務器前端，我們采用了 Web Server 做了一次轉(zhuǎn)發(fā)，我們選擇的 Web 服務器是大名鼎鼎的 Apache。幾年前， Apache 幾乎是 Linux 系統(tǒng)上開源 Web Server 的唯一選擇。那個時候雖然也有一些其他的開源的 Web Server，但是從功能和穩(wěn)定性上來說都無法和 Apache相對。在今天來說， Lighty 也會是一個非常好的選擇。 Lighty 是一個非常輕量級、占用內(nèi)存資源也比較少的 Web Server。雖然功能上沒有 Apache 強大，但是在不少場景下，性能是非常出色、強于 Apache 的。 而微軟的 IIS，就只能工作在 Windows 的系統(tǒng)上了。并且使用 IIS的話，基本上也就是選擇了 ISAPI、 ASP 或者 進行 Web 應用的開發(fā)了。 數(shù)據(jù)庫 說完了我們采用的操作系統(tǒng)、應用服務器、 WebServer 后，下面就來談談我們的數(shù)據(jù)庫。在淘寶網(wǎng)的應用中，采用了兩種關(guān)系型數(shù)據(jù)庫管理系統(tǒng)。一個是 Oracle 公司的 Oracle 10g，另外一個是 Sun MySQL 的 MySQL。 Oracle 是一款優(yōu)秀的、廣泛采用的商業(yè)數(shù)據(jù)庫管理軟件。有很強大的功能和安全性，可以處理相對海量的數(shù)據(jù)。而 MySQL 是一款非常 優(yōu)秀的開源數(shù)據(jù)庫管理軟件，非常適合用多臺 PC Server 組成多點的存儲節(jié)點陣列 (這里我所指的不是 MySQL自身提供的集群功能 )，每單位的數(shù)據(jù)存儲成本也非常的低廉。用多臺 PC Server 安裝 MySQL組成一個存儲節(jié)點陣列，通過 MySQL 自身的 Replication 或者應用自身的處理，可以很好的保證容錯 (允許部分節(jié)點失效 )，保證應用的健壯性和可靠性?？梢赃@么說，在關(guān)系數(shù)據(jù)庫管理系統(tǒng)的選擇上，可以考慮應用本身的情況來決定。 一個互聯(lián)網(wǎng)應用，除了服務器的操作系統(tǒng)， Web Server 軟件，應用服務器軟件，數(shù)據(jù)庫軟件外，我們還會涉及到一些其他的系統(tǒng)，比如一些中間件系統(tǒng)、文件存儲系統(tǒng)、搜索、分布式框架、緩存系統(tǒng)等等。在淘寶網(wǎng)，這些系統(tǒng)都是自主開發(fā)的，沒有采用目前商業(yè)的或者開源的產(chǎn)品。有些系統(tǒng)，會存在著一些開源的產(chǎn)品或者商業(yè)產(chǎn)品。但是，考慮到淘寶網(wǎng)自己的需求和大并發(fā)量的壓力，這些系統(tǒng)都選擇了自主開發(fā)框架。 前面談的都是系統(tǒng)級的產(chǎn)品，下面我們說說開發(fā)框架的使用?？赡苡信笥严雴?，作為一個如此大規(guī)模的網(wǎng)站，淘寶網(wǎng)的 Web 展現(xiàn)層采用的是什么框架，是怎么實現(xiàn)的呢？曾經(jīng)也有 第 3 頁 到淘寶的應聘者問過我這個問題，他問我說是不是用的 struts。我告訴他說不是的。其實淘寶網(wǎng)的 Web 展現(xiàn)層的框架用的不是 struts，不是 webwork，不是 spring mvc 等等。淘寶網(wǎng)的Web 展現(xiàn)層的框架用的是集團內(nèi)部自主開發(fā)的一套 Web 框架。這個框架能夠解決一些其他 Web框架不能解決的、在淘寶的應用中又會出現(xiàn)并需要解決的問題。在淘寶的多個應用中，也采用了一些開源的框架，比如 Spring、 iBatis、 jBPM、 Hessian、 Mina 等等。這些開源軟件的采用為我們構(gòu)建應用系統(tǒng)提供了很大的幫助。 采用開源軟件構(gòu)建系統(tǒng)，我想有兩個很大的好處： 一個是降低成本。 假設你有 1000 臺應用服務器，如果你每臺服務器上采用的不是 JBoss AS 或者其他開源的軟件，而是使用商業(yè)的 Oracle BEA 的 Weblogic 或者 IBM 的 WebSphere，那么為這 1000 臺機器的應用購買 License 的費用是非常高的。 另外一個好處