【正文】 務(wù)器和客戶端的消息通信和分發(fā)；最后一部分是HANALoader部分，用于實(shí)現(xiàn)數(shù)據(jù)庫和應(yīng)用服務(wù)器之間的通信。但是就目前的設(shè)計而言，三個部分沒有被分別封裝打包，然后部署于容器中，實(shí)現(xiàn)web應(yīng)用。 DMOC服務(wù)器架構(gòu)，DMOC服務(wù)器應(yīng)用的三個部分分別具有不同的分工，客戶端管理也就是Agentmanager用來對客戶端的消息進(jìn)行處理分發(fā)，交給web應(yīng)用，由組成這一部分的核心作業(yè)處理引擎處理數(shù)據(jù)ETL作業(yè)。數(shù)據(jù)加載部分則是將客戶端的數(shù)據(jù)統(tǒng)一加載到DMOC提供的云端應(yīng)用數(shù)據(jù)庫，當(dāng)導(dǎo)入到相應(yīng)的云端應(yīng)用，比如說SAP ERP應(yīng)用之后，用戶的數(shù)據(jù)就可以被存儲、被分析。這也是DMOC設(shè)計的一項重要目的。 DMOC安全云設(shè)計眾所周知，云計算的安全性一直被視為云計算發(fā)展的重點(diǎn)，之所以如此，有以下幾點(diǎn)發(fā)展障礙可以解釋用戶對云計算的擔(dān)憂。首先，用戶不能完全確定商業(yè)公司提供的云計算服務(wù)是否可信，是否可以將自己持有的商業(yè)機(jī)密放心托管給云服務(wù)提供商；其次，云計算時通過網(wǎng)絡(luò)實(shí)現(xiàn)部署的，那么其賴以生存的網(wǎng)絡(luò)無法保證持續(xù)安全，服務(wù)持續(xù)不中斷；最后，云計算的服務(wù)器部署大多依賴軟硬件的大規(guī)模結(jié)合來實(shí)現(xiàn)高可用和高效率，無法保證硬件設(shè)施的時刻安全也是用戶對云計算的安全性的顧慮所在。為了規(guī)避以上風(fēng)險，DMOC采取了有效的安全設(shè)計方案。首先，集群的設(shè)計可以有效避免服務(wù)終端和非連續(xù)服務(wù)對用戶數(shù)據(jù)保護(hù)帶來的風(fēng)險；其次，數(shù)據(jù)庫的設(shè)計用以保證用戶與用戶之間的信息相對獨(dú)立，保證信息安全；最后，單點(diǎn)登錄技術(shù)的設(shè)計可以有效保證用戶訪問云資源的安全性。本章通過對DMOC服務(wù)器架構(gòu)設(shè)計的研究，重點(diǎn)對DMOC實(shí)現(xiàn)云計算的安全性的解決方案進(jìn)行設(shè)計和研究。 數(shù)據(jù)庫設(shè)計DMOC的數(shù)據(jù)庫設(shè)計采用SaaS安全架構(gòu)設(shè)計中的共享數(shù)據(jù)庫單獨(dú)模式。所謂共享數(shù)據(jù)庫單獨(dú)模式，是指出于節(jié)約成本考慮，客戶共享一個數(shù)據(jù)庫，但是這樣必然帶來信息交叉等不安全因素，所以在共享數(shù)據(jù)庫中，為每一個客戶分配不同的schema，這樣就有效實(shí)現(xiàn)了數(shù)據(jù)隔離。為了滿足用戶需求，DMOC結(jié)合其原有產(chǎn)品DM在使用中用戶的要求。相較于DM新增加了針對不同用戶設(shè)計不同的數(shù)據(jù)存儲數(shù)據(jù)庫的設(shè)計。不同于以往將所有的用戶信息和數(shù)據(jù)都放置于同一個數(shù)據(jù)庫中，DMOC根據(jù)用戶權(quán)限和部署環(huán)境的不同，將用戶信息以及作業(yè)信息分別存儲于不同的數(shù)據(jù)庫中，這樣既保證了數(shù)據(jù)的安全性，又對數(shù)據(jù)的多樣性有了很好的保持。表格 DMOC的數(shù)據(jù)庫設(shè)計數(shù)據(jù)倉庫類型數(shù)據(jù)庫用戶數(shù)據(jù)庫模式Tenant Repository – sandboxDMOC_ORGID_SANDBOXDMOC_ORGID_SANDBOXTenant Repository – productionDMOC_ORGID_PRODDMOC_ORGID_PRODSystem RepositoryDMOC_SYSTEMDMOC_SYSTEM (default)Temporary Repository – sandboxDMOC_ SANDBOXDMOC_ SANDBOX TemporaryRepository – productionDMOC_PRODDMOC_PROD (default)，Tenant Repository是針對權(quán)限低于最高權(quán)限用戶—organization設(shè)計的數(shù)據(jù)庫。根據(jù)不同用途又為每一個organization設(shè)計針對不同配置環(huán)境的數(shù)據(jù)庫，分別為sandbox和production。這兩種不同的配置環(huán)境類型的數(shù)據(jù)庫可以使用戶根據(jù)不同的需求運(yùn)行不同的ETL作業(yè)。System Repository則是針對最高權(quán)限用戶—超級用戶設(shè)計的數(shù)據(jù)庫。這個數(shù)據(jù)庫里可以存儲超級用戶管理的所有用戶的信息，以及與IDS進(jìn)行通信需要的可信任URL的信息等。 System Repository中用于存儲可信任IDS URL的表結(jié)構(gòu) 集群設(shè)計在DMOC設(shè)計中，支持?jǐn)?shù)據(jù)庫集群、服務(wù)器集群、客戶端集群這三種集群類型。其中服務(wù)器集群采用負(fù)載均衡實(shí)現(xiàn)，并且由ActiveMQ集群實(shí)現(xiàn)服務(wù)器和客戶端之間的消息發(fā)送和處理。下圖是需要實(shí)現(xiàn)的JMS的流程圖。 JMS實(shí)現(xiàn)模型，程序中需要實(shí)現(xiàn)connection factory的建立并由connection factory建立connection，當(dāng)獲取connection之后，會建立一個新的session，然后由當(dāng)前session建立消息生產(chǎn)者和消息消費(fèi)者，之后將消息發(fā)送到指定位置。表格 ActiveMQ實(shí)現(xiàn)JMS類設(shè)計Connection Factory由ActiveMQConnectionFactory類實(shí)現(xiàn)Create connectionsinitializeTheConectionOnly()Create sessionsinitSessionDestinationsForAgent()Message ProducercreateObjectMessage()//發(fā)送消息Message ConsumergetAgentMessageFromObjectMessage()//接收消息Close SessioncloseAllSessionsAndConnections()//關(guān)閉所有session 單點(diǎn)登錄模塊設(shè)計DMOC服務(wù)器web應(yīng)用的開發(fā)就是用了單點(diǎn)登錄技術(shù)，在本產(chǎn)品中，有兩個部分使用了該技術(shù)。分別是用戶在登錄DMOC web service時，由IDS服務(wù)實(shí)現(xiàn)了單點(diǎn)登錄；另一個是應(yīng)用服務(wù)器和數(shù)據(jù)庫通信時使用了單點(diǎn)登錄技術(shù)。通過在這兩部分對單點(diǎn)登錄技術(shù)的應(yīng)用，可以實(shí)現(xiàn)用戶訪問web資源的便捷以保證云安全，并且，在數(shù)據(jù)庫和應(yīng)用服務(wù)器之間進(jìn)行通信時使用單點(diǎn)登錄技術(shù)也更加有效的保證了數(shù)據(jù)獲取的有效性和實(shí)時性，因為在該部分，可以根據(jù)設(shè)定好的間隔，實(shí)時更換認(rèn)證數(shù)據(jù)，保證數(shù)據(jù)獲取的安全性和實(shí)效性[11]。在本次開發(fā)中，使用的全部是SAML模式的單點(diǎn)登錄技術(shù)。首先，針對SSO在IDS中的實(shí)現(xiàn)。SAP ID Service提供了一個處理用戶應(yīng)用認(rèn)證和身份管理的簡單實(shí)現(xiàn)方式。通過IDS的使用，開發(fā)者可以將精力更多的集中在業(yè)務(wù)邏輯上，而不用過多的牽涉到安全問題的解決上，并且這樣可以集中管理用戶認(rèn)證信息，安全并高效。IDS是將認(rèn)證從應(yīng)用層分離出來的一種實(shí)現(xiàn)，可以集中處理這些核心服務(wù)，它由以下幾個主要部分組成：一個核心的用戶存儲庫。這里存儲了所有訪問應(yīng)用程序的被保護(hù)的資源信息，例如用戶名、密碼、使用角色等。一個標(biāo)準(zhǔn)的SSO服務(wù)實(shí)現(xiàn)方式。這里的SSO可以使得用戶在訪問所有部署與SAP Netweaver Cloud上的應(yīng)用時只需要登陸一次，之后用戶就可以獲得所有應(yīng)用的訪問授權(quán)。另外，除了作為所有應(yīng)用程序用戶信息的存儲中心以外，IDS還對開發(fā)者或者管理權(quán)限的用戶提供注冊功能，使得需要在SAP Netweaver Cloud上部署應(yīng)用服務(wù)的開發(fā)者能夠具有相應(yīng)權(quán)限使用IDS提供的服務(wù)。至于IDS是如何提供SSO服務(wù)的。 SAP ID Service實(shí)現(xiàn)SSO時序圖 ID Service是如何集成到用戶訪問應(yīng)用程序的認(rèn)證過程中的。根據(jù)用戶的需求，SAP ID Service可以被設(shè)置為基于HTTP的認(rèn)證方式，這是最基本的認(rèn)證方式，或者是基于SAML的單點(diǎn)登錄認(rèn)證方式。首先，用戶需要訪問部署于SAP NetWeaver Cloud上的應(yīng)用程序，比如DMOC提供的web service，所以，根據(jù)自身需求，用戶向其發(fā)送了一個訪問請求。SAP NetWeaver Cloud在收到用戶請求之后，會把這一請求重定向到SAP ID Service，由其進(jìn)行處理這一請求。IDS將用戶請求產(chǎn)生應(yīng)答消息，這一應(yīng)答消息除了包含對用戶請求信息的回應(yīng)，還包含一個Artifact隨機(jī)數(shù)[10]，用來指向完整的SAML斷言。用戶收到帶有Artifact的應(yīng)答消息之后，向訪問的應(yīng)用程序再次發(fā)出包含有SAML斷言和Artifact的請求信息。應(yīng)用程序根據(jù)用戶發(fā)來的請求信息，進(jìn)行解析，如果SAML斷言匹配成功，則返回用戶所需資源，如不成功，則返回錯誤信息。在進(jìn)行SAML斷言解析匹配過程中，IDS實(shí)際上扮演一個SAML Identity Provider(IdP)的角色，IDS作為SAML 認(rèn)證的提供者，根據(jù)從應(yīng)用程序發(fā)送的請求，IdP會根據(jù)用戶的請求信息判斷用戶是否具有授權(quán)。如果用戶提供了可用的認(rèn)證證書，或者用戶已經(jīng)在IDS注冊，具有授權(quán)，那么IDS就會向應(yīng)用程序返回用戶已經(jīng)具有授權(quán)的應(yīng)答，這樣用戶就具有了訪問和從應(yīng)用程序獲取資源的權(quán)限。DMOC在開發(fā)實(shí)現(xiàn)到IDS的SSO認(rèn)證時，首先對認(rèn)證進(jìn)行了定義，使得由Java EE定義的servlet API可以實(shí)現(xiàn)資源保護(hù)，對于資源保護(hù)的具體實(shí)現(xiàn)，在應(yīng)用層完成，實(shí)現(xiàn)用戶信息獲取的同時還必須實(shí)現(xiàn)明確的退出登錄功能，使得SAML連接得到有效終止。這樣，通過IDS就實(shí)現(xiàn)了DMOC的用戶認(rèn)證管理和DMOC web應(yīng)用的分離，開發(fā)過程中，開發(fā)人員向IDS申請一個IDS的service provider(SP)用于為DMOC用戶提供用戶認(rèn)證信息的存儲位置。在用戶需要使用DMOC服務(wù)時，實(shí)際上，用戶只需將個人信息注冊到IDS提供的SP上，DMOC根據(jù)該SP的證書和關(guān)鍵秘鑰對用戶發(fā)來的請求進(jìn)行解析，確認(rèn)用戶是否已注冊于指定SP，這樣就可以實(shí)現(xiàn)了對用戶訪問的控制。同理，在DMOC的應(yīng)用服務(wù)器和數(shù)據(jù)庫的通信中也是用SAML進(jìn)行認(rèn)證。只是在這種情況下，就不需要借用第三方的IDS存儲和管理用戶信息，只需要將服務(wù)器和數(shù)據(jù)庫之間通信時的密碼由SAML token進(jìn)行替代就可以實(shí)現(xiàn)二者之間通過SAML認(rèn)證的方式通信。，首先將請求發(fā)送到應(yīng)用服務(wù)器，再通過服務(wù)器將請求以SAML的形式連接到數(shù)據(jù)庫，并進(jìn)行訪問資源的獲取。： 本章小結(jié)本章主要闡述了DMOC產(chǎn)品的整體框架和設(shè)計理念。對包括客戶端和服務(wù)器端在內(nèi)的整個DMOC產(chǎn)品框架設(shè)計進(jìn)行了完整描述，著重介紹了服務(wù)器端的架構(gòu)。一方面，對客戶端與服務(wù)器之間的通信過程設(shè)計進(jìn)行了介紹；另一方面，對服務(wù)器端的應(yīng)用組成進(jìn)行研究，為實(shí)現(xiàn)DMOC產(chǎn)品功能的準(zhǔn)備。另外，最為DMOC安全設(shè)計的組成部分，針對DMOC的集群設(shè)計以及單點(diǎn)登錄模塊的設(shè)計進(jìn)行了詳細(xì)研究。通過流程圖和類圖的設(shè)計，為集群和單點(diǎn)登錄的實(shí)現(xiàn)做好充分準(zhǔn)備。30浙江大學(xué)碩士學(xué)位論文 第5章DMOC服務(wù)器安全技術(shù)實(shí)現(xiàn)第5章 DMOC服務(wù)器安全技術(shù)實(shí)現(xiàn) 云計算的安全性DMOC產(chǎn)品基于J2EE技術(shù)架構(gòu)開發(fā)，使用Spring框架實(shí)現(xiàn)DMOC服務(wù)器端web應(yīng)用。在整個產(chǎn)品開發(fā)過程中，為了保證云計算的安全性，采取了有效的安全措施。其中重點(diǎn)介紹集群技術(shù)以及單點(diǎn)登錄技術(shù)。 集群實(shí)現(xiàn) 負(fù)載均衡在DMOC服務(wù)器部署過程中，使用Apache Http Server實(shí)現(xiàn)負(fù)載均衡。這里采用的負(fù)載均衡算法為“加權(quán)輪叫”法，對DMOC應(yīng)用服務(wù)器的集群進(jìn)行負(fù)載均衡，使用戶的訪問環(huán)境達(dá)到最優(yōu)。Apache Http Server是一個開源的網(wǎng)頁服務(wù)器，可以在大多數(shù)的操作平臺上使用，以其跨平臺、安全性、可靠性而被廣泛接受和應(yīng)用，是目前最流行的web服務(wù)器之一。在DMOC服務(wù)器部署過程中，利用了Http Server的負(fù)載均衡功能，：Enginename=CatalinadefaultHost=localhostjvmRoute=jvm1這是對第一臺應(yīng)用服務(wù)器的配置，依次類推，對第二、第三臺進(jìn)行相應(yīng)的配置。而在Http Server端，：Proxy balancer://proxyBalancerMember :7171/ route=jvm1 BalancerMember :7171/ route=jvm2……/Proxy這樣對應(yīng)用服務(wù)器的負(fù)載均衡就由Http Server實(shí)現(xiàn)，無需程序另外實(shí)現(xiàn)。 JMS實(shí)現(xiàn)DMOC服務(wù)器的JMS由ActiveMQ采用JDBC master/slave的模式實(shí)現(xiàn)。首先需要保證在服務(wù)器端和ActiveMQ端進(jìn)行適當(dāng)?shù)呐渲?，?shí)現(xiàn)JDBC master/slave模式。（1）ActiveMQ集群端：在安裝了ActiveMQ的所有服務(wù)器上，以實(shí)現(xiàn)JDBC master/slave模式。 bean id=hanads class= destroymethod=closeproperty name=driverClassName value=/property name=url value=jdbc:sap://${}:${}/${}/property name=username value=${}/property name=password value=${}/property name=poolPreparedStatements value=true//bean ，所有的ActiveMQ形成了一個集群，并且全部指向同一個數(shù)據(jù)庫，在數(shù)據(jù)庫中，會設(shè)定一個排他鎖。CREATE TABLE ACTIVEMQ_LOCK( ID BIGINT NOT NULL, TIME BIGINT, BROKER_NAME VARCHAR(250), PRIMARY KEY (ID))。INSERT INTO ACTIVEMQ_LOCK(ID) VALUES (1)。每一個broker都會試圖獲取這一個排他鎖，獲取到之后將成為master，其他ActiveMQ服務(wù)器作為slave等待排他鎖。（2）服務(wù)器端：服務(wù)器端的配置是用以指定failover模式下的用以進(jìn)行消息轉(zhuǎn)發(fā)的所有ActiveMQ的URL。ActiveMQURL=failover:(tcp://localhost:61616,tcp://:61616?connectionTimeout=1000)?maxReconnectAttempts=3程序?qū)⒆x取這一URL，并對消息轉(zhuǎn)發(fā)進(jìn)行處理。（3）設(shè)計：Acti