【正文】 我們優(yōu)化的關(guān)鍵，所以訂單最后采用了讀寫(xiě)分離的方案，高成本的主數(shù)據(jù)庫(kù)解決事務(wù)和重要的查詢業(yè)務(wù)， 80%以上不重要的讀，交給了低成本的數(shù)據(jù)庫(kù)服務(wù)器來(lái)解決，同時(shí)對(duì)數(shù)據(jù)復(fù)制的要求也很低，實(shí)現(xiàn)無(wú)太大難度。上線后發(fā)現(xiàn)一個(gè)非常痛苦的問(wèn)題，無(wú)法和 SQL 對(duì)應(yīng)，排錯(cuò)非常難。于是立刻倒戈對(duì)抗其創(chuàng)造者，采用大規(guī)模殺傷性武器（甚至核暴）來(lái)滅絕全人類。 一般基本 web 應(yīng)用的層次是這樣的，如下圖 Apache公司有個(gè)開(kāi)源項(xiàng)目 Cactus，是專門(mén)針對(duì)上面的 Servlet來(lái)做接口測(cè)試的一個(gè)框架。 第 15 頁(yè) 綜上， webx 層接口測(cè)試，就是對(duì) action 里面的 doXXX 方法，與 screen 里的 execute 方法來(lái)做測(cè)試，這些就是我們所謂的接口，接口測(cè)試并不一定要是 interface 聲明才算，對(duì)于頁(yè)面來(lái)說(shuō)， action/screen 里的方法就是提供給頁(yè)面來(lái)調(diào)用，供外部使用的，都可以被稱為接口。 ：這幾乎是每一個(gè) web 項(xiàng)目都會(huì)有的配置文件，在 webx 框架下，只定義了一個(gè)核心的 servlet： WebxController ：每個(gè) webx 應(yīng)用，都需要有一個(gè) 配置文件。 Modules 是基本編程模塊：包括 screen， control， action Screen — 用來(lái)處理頁(yè)面顯示邏輯的 module，主要功能就是顯示一個(gè)頁(yè)面 Control — 和 screen 類似，但可以被別的 screen 或 layout 引用，甚至可以跨越 car應(yīng)用 Action — 處理用戶提 交表單的 module Webx 的頁(yè)面布局以 screen 為主導(dǎo)，通過(guò) screen 來(lái)查找其余的頁(yè)面元素，然后通過(guò)一系列查找規(guī)則來(lái)查找頁(yè)面元素 。根據(jù) webx 默認(rèn)的映射規(guī)則， / 被轉(zhuǎn)換成 /。 整條線還是很清晰明了的，具體 實(shí)現(xiàn)代碼也很簡(jiǎn)單，需要我們關(guān)注的是 PipelineContextImpl 的 invokeNext 方法的具體實(shí)現(xiàn)，這是整個(gè) pipeline 和 valve 流轉(zhuǎn)的核心，具體實(shí)現(xiàn)如下所示： public void invokeNext() { assertInitialized()。 } catch (PipelineException e) { throw e。 } } 為保持 valve 的串聯(lián)執(zhí)行，需要每個(gè) valve 的實(shí)現(xiàn)必須在處理完后調(diào)用 pipelineContex()。 checkCsrfToken / ! 檢查頁(yè)面的授權(quán)，如果當(dāng)前用戶無(wú)權(quán)訪問(wèn)該頁(yè)面，則跳轉(zhuǎn)到 petstoreLogin 頁(yè)面 webx2valve class=e / loop choose when ! 執(zhí)行帶模板的 screen，默認(rèn)有 layout。 . action 與 screen 從 pipeline 與 valve 可知 ， action 與 screen 的處理都是通過(guò) valve 來(lái)完成的，具體所說(shuō)分別對(duì)應(yīng)著： action 與 screen 是 web 框架中最核心的兩塊，分別對(duì)應(yīng)著請(qǐng)求響應(yīng)和返回渲染 。 for (int i = 0。 if (value == null amp。 webx 是通過(guò)一個(gè)個(gè) DataResolver 來(lái)完成對(duì)各種參數(shù)的解析和注入， DataResolver 的源碼如下： public interface DataResolver{Object resolve()。 Field field = (fieldName)。 } } 在構(gòu)造函數(shù)里通過(guò) Annotation 得到 groupName 和 fieldName，在 resolve 方法里，通過(guò)request 組裝成 form 對(duì)象，再通過(guò) groupName 和 fieldName 取到相應(yīng)的 Field。 import 。 import 。 import 。 WEB 層開(kāi)發(fā)規(guī)范 作用和目的： web 層是直接和用戶交互的，包括界面展示，提交數(shù)據(jù)的處理，數(shù)據(jù)的獲取等功能塊；需開(kāi)發(fā)的組件：在 web 層中，常見(jiàn)的有 Screen、 Control、 Action 這三類 web 端組件需要開(kāi)發(fā)，他們的職責(zé)只限于 web 端，比如提交組據(jù)的驗(yàn)證，調(diào)用 biz 層程序來(lái)處理業(yè)務(wù)邏輯，并提供模板渲染需要的數(shù)據(jù)等。 } else { skipModuleExecutionIfNecessary(valid, null)。 groupInstanceKey = trimToNull(())。 } try { (moduleObject, args)。 } catch (SkipModuleExecutionException e) { if (skippable) { (: {}, {}, fastMethod, tMessage())。 webx 采用的方式是把所有 Action 和 Screen 抽象為一個(gè)個(gè)的需要執(zhí)行的動(dòng)作，而把各種執(zhí)行器抽象為 Module， Module 非常簡(jiǎn)單，代碼如下： public interface Module { /*執(zhí)行模塊 */ void execute() throws Exception。 exit / /otherwise /choose ! 假如 ()被設(shè)置，則循環(huán)，否則退出循環(huán)。 prepareForWebx2 / ! 設(shè)置日志系統(tǒng)的上下文，支持把當(dāng)前請(qǐng)求的詳情打印在日志中。amp。 } executedIndex++。 第 18 頁(yè) . pipeline 與 valve 項(xiàng)目組在 MVC 這塊會(huì)轉(zhuǎn)向使用公司內(nèi)部 web 框架 webx3，今日讀了讀它的源代碼，做一定源碼和架構(gòu)的解析。服務(wù)器把這個(gè)請(qǐng)求交給 fuwuxian 應(yīng)用來(lái)接管。 ：日志系統(tǒng)配置文件。 1 src/main/java 2 src/main/webapp 第 16 頁(yè) 先看 src/main/webap，這里面主要放置了配置文件和模板文件。 上圖是大家都十分熟悉的淘寶登錄頁(yè)面，填入相應(yīng)信息后，點(diǎn)擊登錄按鈕，這個(gè)動(dòng)作就是 action。 回顧過(guò)去，展望未來(lái)。 上面的兩個(gè)例子都是對(duì)人的關(guān)注缺失，技術(shù)人員做系統(tǒng)，大部分都更關(guān)注技術(shù)，而忽視技術(shù)的創(chuàng)造者和使用者 —— 人。另外，經(jīng)驗(yàn)有些時(shí)候會(huì)成為系統(tǒng)決策的障礙，這個(gè)很矛盾，所以需要有歸零的心態(tài)來(lái)思考問(wèn)題。當(dāng)訂單和分庫(kù)分表相遇，會(huì)有什么火花迸發(fā)出來(lái)？ 09年初碰撞了很久，結(jié)果產(chǎn)生的火花很小。 前面說(shuō)了一個(gè)監(jiān)控系統(tǒng)的重要性，有了監(jiān)控系統(tǒng)以后，更重要的是要和預(yù)警系統(tǒng)結(jié)合起來(lái)，比如當(dāng)某個(gè)頁(yè)面訪問(wèn)量增多的時(shí)候，系統(tǒng)能自動(dòng)預(yù)警，某臺(tái) Server 的 CPU 和內(nèi)存占用率突然變大的時(shí)候，系統(tǒng)也能自動(dòng)預(yù)警，當(dāng)并發(fā)請(qǐng)求丟失嚴(yán)重的時(shí)候，系統(tǒng)也能自動(dòng)預(yù)警等等，這樣以來(lái)通 過(guò)監(jiān)控系統(tǒng)和預(yù)警系統(tǒng)的結(jié)合可以使得我們能快速響應(yīng)系統(tǒng)出現(xiàn)的問(wèn)題，提高系統(tǒng)的穩(wěn)定性和可用性。交易系統(tǒng)會(huì)與很多其它的業(yè)務(wù)系統(tǒng)交互，如果在一次交易過(guò)程中采用同步調(diào)用的話，這就要求要向交易成功，必須依賴的所有系統(tǒng)都可用，而如果采用異步通信以后，交易系統(tǒng)借助于消息中間件 Notify 和其它的系統(tǒng)進(jìn)行了解耦，這樣以來(lái)當(dāng)其它的系統(tǒng)不可用的時(shí)候，也 不會(huì)影響到某此交易，從而提高了系統(tǒng)的可用性。 上面說(shuō)了一大堆，無(wú)非就是告訴大家一個(gè)事實(shí) “ 數(shù)據(jù)庫(kù)是系統(tǒng)中最不容易 scale out 的一層 ” ，一個(gè)大型的互聯(lián)網(wǎng)應(yīng)用必然會(huì)經(jīng)過(guò)一個(gè)從單一 DB server， 到 Master/salve， 再到垂直分區(qū)（分庫(kù)） ， 然后再到水平分區(qū)（分表 ， sharding）的過(guò)程，而在這個(gè)過(guò)程中， Master/salve 以及垂直分區(qū)相對(duì)比較容易，對(duì) 應(yīng)用的影響也不是很大，但是分表會(huì)引起一些棘手的問(wèn)題，比如不能跨越多個(gè)分區(qū) join 查詢數(shù)據(jù)，如何平衡各個(gè) shards 的負(fù)載等等，這個(gè)時(shí)候 第 8 頁(yè) 就需要一個(gè)通用的 DAL 框架來(lái)屏蔽底層數(shù)據(jù)存儲(chǔ)對(duì)應(yīng)用邏輯的影響，使得底層數(shù)據(jù)的訪問(wèn)對(duì)應(yīng)用透明化。至于系統(tǒng)間的依賴管理，目前公司還做的不夠好，這應(yīng)該也是我們以后努力解決的問(wèn)題。 因此一個(gè)大型的互聯(lián)網(wǎng)應(yīng)用，肯定是要經(jīng)過(guò)拆分，因?yàn)橹挥胁鸱至耍到y(tǒng)的擴(kuò)展性，維護(hù)性 ， 伸縮性，可用性才會(huì)變的更好。 在大部分情況下 ， 我們所說(shuō)到的緩存都是讀緩存 ， 緩存還有另外一個(gè)類型 ： 寫(xiě)緩存 。幸運(yùn)的是 公司已經(jīng)具有了此類框架。這個(gè)移植指的是采用了這款開(kāi)源軟件后現(xiàn)有系統(tǒng)的移植，或者是從這個(gè)開(kāi)源軟件到其他軟件的移植。在一個(gè)新版本完成前，會(huì)有多次的測(cè)試版本發(fā)布，最后才是正式版。在淘寶的多個(gè)應(yīng)用中，也采用了一些開(kāi)源的框架，比如 Spring、 iBatis、 jBPM、 Hessian、 Mina 等等。有些系統(tǒng)，會(huì)存在著一些開(kāi)源的產(chǎn)品或者商業(yè)產(chǎn)品。一個(gè)是 Oracle 公司的 Oracle 10g，另外一個(gè)是 Sun MySQL 的 MySQL。那個(gè)時(shí)候雖然也有一些其他的開(kāi)源的 Web Server，但是從功能和穩(wěn)定性上來(lái)說(shuō)都無(wú)法和 Apache相對(duì)。嚴(yán)格意義上講， Tomcat 和 Resin并不能算是一個(gè)應(yīng)用服務(wù)器，他們是實(shí)現(xiàn)了部分 J2EE 規(guī)范的一個(gè)容器。而應(yīng)用全面的優(yōu)化、提升性能也是從操作系統(tǒng)的優(yōu)化開(kāi)始的。一個(gè)應(yīng)用服務(wù)器，從軟件的角度來(lái)說(shuō)他的最底層首先是操作系統(tǒng)。DONOW 文 檔 編 號(hào) 版本 密級(jí) DONOWTB001 V 開(kāi)放 WebX3 框架分析 CreateBy CNJUN CreateDate 20200813 第 1 頁(yè) 修改記錄 第 1 頁(yè) 目錄 WebX3 框架分析 ...................................................................................................................................... 1 修改記錄 ................................................................................................................................................ 1 目錄 ....................................................................................................................................................... 1 1. 淘寶技術(shù) .................................................................................................................................. 1 . 淘寶總述 ........................................................................................................................... 1 . 高性能可伸縮 .................................................................................................................... 4 . 應(yīng)用無(wú)狀態(tài) ................................................................................................................ 4 . 有效使用緩存 ............................................................................................................. 5 . 應(yīng)用拆分 .................................................................................................................... 5 . 數(shù)據(jù)庫(kù)拆分 ..............................................................................................................