基于微軟云計算存儲系統(tǒng)及技術(shù)服務(wù)平臺研究

摘要：云計算技術(shù)的興起和發(fā)展，正逐漸改變?nèi)藗兪褂梅?wù)和資源的方式，同時也成為計算機應(yīng)用領(lǐng)域的研究熱點。云存儲可實現(xiàn)云端海量數(shù)據(jù)的高效存儲，是云計算的重要基礎(chǔ)云存儲可實現(xiàn)云端海量數(shù)據(jù)的高效存儲，是云計算的重要基礎(chǔ)。對如何保證云存儲系統(tǒng)的服務(wù)質(zhì)量及可靠性，對于保證海量用戶的訪問效率，維護海量數(shù)據(jù)存儲的可用性及用戶技術(shù)服務(wù)平臺的開發(fā)有著重大意義。關(guān)鍵詞：云計算；海量數(shù)據(jù)；服務(wù)質(zhì)量；服務(wù)平臺基于微軟云計算技術(shù)服務(wù)平臺(Windows Azure ServicesPlatform)進行二次開發(fā)，對非云端程序與云端程序連接技術(shù)進行研究，根據(jù)用戶需求在云計算平臺上開發(fā)、部署集群、設(shè)計一個通用的多樣化的軟件系統(tǒng)平臺。技術(shù)的不斷進步必將推動存儲向更高容量發(fā)展，而重復(fù)數(shù)據(jù)刪除、壓縮等技術(shù)的引入，可以進一步提升存儲空間的利用率。面對PB級的海量存儲需求。傳統(tǒng)的SAN或NAS在容量和性能的擴展上會存在瓶頸，云計算這種新型的服務(wù)模式必然要求存儲架構(gòu)保持極低的成本。而現(xiàn)有的一些高端存儲設(shè)備顯然還不能滿足這種需求。1 云存儲概述1．1 云存儲的概念它是指通過集群應(yīng)用、網(wǎng)格技術(shù)或分布式文件系統(tǒng)等功能，將網(wǎng)絡(luò)中大量各種不同類型的存儲設(shè)備通過應(yīng)用軟件集合起來協(xié)同工作，共同對外提供數(shù)據(jù)存儲和業(yè)務(wù)訪問功能的一個系統(tǒng)。嚴格來講，云存儲不是存儲，而是一種服務(wù)。云存儲的核心是應(yīng)用軟件與存儲設(shè)備相結(jié)合，通過應(yīng)用軟件來實現(xiàn)存儲設(shè)備向存儲服務(wù)的轉(zhuǎn)變。1．2 云計算和云存儲的關(guān)系云計算是分布式處理(Distributed Computing)、并行處理(Parallel Computing)和網(wǎng)格計算(Grid Computing)的發(fā)展，是透過網(wǎng)絡(luò)將龐大的計算處理程序自動分拆成無數(shù)個較小的子程序，再交由多臺服務(wù)器所組成的龐大系統(tǒng)經(jīng)計算分析之后將處理結(jié)果回傳給用戶。2 云存儲系統(tǒng)分析與傳統(tǒng)的存儲設(shè)備相比，云存儲不僅僅是一個硬件，而是一個網(wǎng)絡(luò)設(shè)備、存儲設(shè)備、服務(wù)器、應(yīng)用軟件、公用訪問接口、接入網(wǎng)、和客戶端程序等多個部分組成的復(fù)雜系統(tǒng)。各部分以存儲設(shè)備為核心，通過應(yīng)用軟件來對外提供數(shù)據(jù)存儲和業(yè)務(wù)訪問服務(wù)。云存儲系統(tǒng)的結(jié)構(gòu)模型由4層組成。2．1 存儲層存儲層是云存儲最基礎(chǔ)的部分。存儲設(shè)備可以是光纖通道存儲設(shè)備，也可以是其他的存儲設(shè)備。云存儲中的存儲設(shè)備往往數(shù)量龐大且分布多不同地域。彼此之間通過廣域網(wǎng)、互聯(lián)網(wǎng)或者光纖通道網(wǎng)絡(luò)連接在一起。存儲設(shè)備之上是一個統(tǒng)一存儲設(shè)備管理系統(tǒng)，可以實現(xiàn)存儲設(shè)備的邏輯虛擬化管理、多鏈路冗余管理，以及硬件設(shè)備的狀態(tài)監(jiān)控和故障維護。2．2 基礎(chǔ)管理層基礎(chǔ)管理層是云存儲最核心的部分，也是云存儲中最難以實現(xiàn)的部分基礎(chǔ)管理層通過集群、分布式文件系統(tǒng)和網(wǎng)格計算等技術(shù)，實現(xiàn)云存儲中多個存儲設(shè)備之間的協(xié)同工作，使多個的存儲設(shè)備可以對外提供同一種服務(wù)，并提供更大更強更好的數(shù)據(jù)訪問性能。CDN內(nèi)容分發(fā)系統(tǒng)、數(shù)據(jù)加密技術(shù)保證云存儲中的數(shù)據(jù)不會被未授權(quán)的用戶所訪問，同時，通過各種數(shù)據(jù)備份和容災(zāi)技術(shù)和措施可以保證云存儲中的數(shù)據(jù)不會丟失，保證云存儲自身的安全和穩(wěn)定。2．3 應(yīng)用接口層應(yīng)用接口層是云存儲最靈活多變的部分。不同的云存儲運營單位可以根據(jù)實際業(yè)務(wù)類型，開發(fā)不同的應(yīng)用服務(wù)接口，提供不同的應(yīng)用服務(wù)。比如視頻監(jiān)控應(yīng)用平臺、網(wǎng)絡(luò)硬盤引用平臺，遠程數(shù)據(jù)備份應(yīng)用平臺等。2．4 訪問層任何一個授權(quán)用戶都可以通過標準的公用應(yīng)用接口來登錄云存儲系統(tǒng)，享受云存儲服務(wù)。云存儲運營單位不同，云存儲提供的訪問類型和訪問手段也不同。3 云存儲應(yīng)用云存儲從結(jié)構(gòu)模型可以看出，云存儲能提供什么樣的服務(wù)取決于云存儲架構(gòu)的應(yīng)用接口層中內(nèi)嵌了什么類型的應(yīng)用軟件和服務(wù)。不同類型的云存儲運營商對外提供的服務(wù)也不同。根據(jù)服務(wù)類型和面向的用戶不同，云存儲服務(wù)可以分為個人級應(yīng)用和企業(yè)級應(yīng)用。3．1 個人級云存儲應(yīng)用3．1．1 網(wǎng)絡(luò)磁盤網(wǎng)絡(luò)磁盤是一種在線存儲服務(wù)，使用者可通過web訪問方式來上傳和下載文件，實現(xiàn)個人重要數(shù)據(jù)的網(wǎng)絡(luò)化存儲和備份。高級的網(wǎng)絡(luò)磁盤可以提供web頁面和客戶端軟件等兩種訪問方式。網(wǎng)絡(luò)磁盤的容量空間一般取決于服務(wù)商的服務(wù)策略，或取決于使用者向服務(wù)商支付的費用多少。3．1．2 在線文檔編輯在線文檔編輯將使我們不再需要在個人PC上安裝office等軟件，只需要打開Coogle does網(wǎng)頁，通過Google does就可以進行文檔編輯和修改(使用云計算系統(tǒng))，并將編輯完成的文檔保存在Coogle does服務(wù)所提供的個人存儲空間中(使用云存儲系統(tǒng))。無論我們走到哪兒，都可以再次登錄Coogle does，打開保存在云存儲系統(tǒng)中的文檔。通過云存儲系統(tǒng)的權(quán)限管理功能，還能輕松實現(xiàn)文檔的共享、傳送以及版權(quán)管理。3．1．3 在線的網(wǎng)絡(luò)游戲我們可以通過云計算和云存儲系統(tǒng)來構(gòu)建一個龐大的、超能的游戲服務(wù)器群，這個服務(wù)器群系統(tǒng)對于游戲玩家來講，就如同是一臺服務(wù)器，所有玩家在一起進行競爭。云計算和云存儲的應(yīng)用，可以代替現(xiàn)有的多服務(wù)器架構(gòu)，使所有玩家都能集中在一個游戲服務(wù)器組的管理之下。同時，云計算和云存儲系統(tǒng)的使用可在最大限度上提升游戲服務(wù)器的性能，實現(xiàn)更多的功能。3．2 企業(yè)級云存儲應(yīng)用從目前不同行業(yè)的存儲應(yīng)用現(xiàn)狀來看，以下幾類系統(tǒng)將有可能很快進入云存儲時代。3．2．1 企業(yè)空間租賃服務(wù)信息化的不斷發(fā)展使得企業(yè)的信息數(shù)據(jù)量呈幾何級數(shù)增長。通過高性能、大容量云存儲系統(tǒng)。數(shù)據(jù)業(yè)務(wù)運營商和idc數(shù)據(jù)中心可以為無法單獨購買大容量存儲設(shè)備的企事業(yè)單位提供方便快捷的空間租賃服務(wù)，滿足企事業(yè)單位不斷增加的業(yè)務(wù)數(shù)據(jù)存儲需求。3．2．2 企業(yè)級遠程數(shù)據(jù)備份和容災(zāi)通過高性能、大容量云存儲系統(tǒng)和遠程數(shù)據(jù)備份軟件，數(shù)據(jù)業(yè)務(wù)運營商和數(shù)據(jù)中心可以為所有需要遠程數(shù)據(jù)備份和容災(zāi)的企事業(yè)單位提供空間租賃和備份業(yè)務(wù)租賃服務(wù)。普通的企事業(yè)單位、中小企業(yè)可租用數(shù)據(jù)中心提供的空間服務(wù)和遠程數(shù)據(jù)備份服務(wù)功能，建立自己的遠程備份和容災(zāi)系統(tǒng)，以保證當本地發(fā)生重大的災(zāi)難時，可通過遠程備份或遠程容災(zāi)系統(tǒng)進行快速恢復(fù)。3．2．3 視頻監(jiān)控系統(tǒng)建立一個遍布全國的云存儲系統(tǒng)，在這個云存儲系統(tǒng)中可以內(nèi)嵌視頻監(jiān)控平臺管理軟件，建設(shè)“全球眼”或“寬視界”系統(tǒng)。系統(tǒng)的建設(shè)者只需要安裝攝像頭和編碼器等前端設(shè)備，并為每一個編碼器、IP攝像頭分配一個帶寬足夠的接入網(wǎng)鏈路，通過接入網(wǎng)與云存儲系統(tǒng)連接，實時的視頻圖像就可以很方便地保存到云存儲中，并通過視頻監(jiān)控平臺管理軟件實現(xiàn)圖像的管理和調(diào)用。4 基于微軟云計算技術(shù)服務(wù)平臺系統(tǒng)基于云計算技術(shù)，架設(shè)在Windows Azure(云服務(wù)的操作系統(tǒng))之上，基于Microsoft Visual Studio 2010軟件開發(fā)環(huán)境，通過使用Azure提供云存儲功能和SQL Azure(云關(guān)系型數(shù)據(jù)庫)，調(diào)用Windows Azure SDK(云計算服務(wù)Azure相關(guān)開發(fā)工具包)開發(fā)工具和云端服務(wù)接口，創(chuàng)建、構(gòu)造基于WindowsAzure的集群技術(shù)，開發(fā)一個云應(yīng)用系統(tǒng)。系統(tǒng)運用分層架構(gòu)思想，采用B／S三層體系結(jié)構(gòu)模式(數(shù)據(jù)訪問層、業(yè)務(wù)邏輯層和表示層)，不僅有B／S體系結(jié)構(gòu)“瘦客戶”端優(yōu)點，更能體現(xiàn)“云”時代無需考慮初始化基礎(chǔ)設(shè)施，自動完成后繼擴展性的特點。 基于微軟云計算技術(shù)服務(wù)平臺系統(tǒng)將軟件作為服務(wù)SaaS，是云計算服務(wù)類型中應(yīng)用最為廣泛的一種，即將軟件功能封裝成服務(wù)形式通過互聯(lián)網(wǎng)，提供給用戶按需使用，在這個過程中良好的用戶界面對于用戶的體驗程度起著至關(guān)重要的作用，采用在線管理功能為云計算平臺上運行的應(yīng)用軟件提供良好的前處理與后處理，以及作業(yè)管理。平臺體系結(jié)構(gòu)運用分層架構(gòu)思想，類似于常用的B／S三層體系結(jié)構(gòu)模式，基本分為：數(shù)據(jù)訪問層、業(yè)務(wù)邏輯層和表示層，體系結(jié)構(gòu)圖如下所示。

4．1 數(shù)據(jù)訪問層使用REST編程接口(HTTP／HTTPS方式)訪問WindowsAzure Storage，創(chuàng)建Blob和Table存儲用來存放作業(yè)數(shù)據(jù)文件和作業(yè)運行結(jié)果。4．2 邏輯業(yè)務(wù)層業(yè)務(wù)邏輯層是聯(lián)系數(shù)據(jù)訪問層和表示層的紐帶，幫助建立與云數(shù)據(jù)庫連接，根據(jù)用戶請求生成檢索語句或更新數(shù)據(jù)庫，并使返回結(jié)果在表示層顯示出來。本平臺對所需要處理的用戶管理、權(quán)限管理、日志管理等操作分別建立相關(guān)業(yè)務(wù)邏輯類，即完成了所需功能，又減少了各層之間的耦合度，增強了系統(tǒng)的安全性能。 作業(yè)調(diào)度對虛擬集群進行管理和監(jiān)控，動態(tài)添加新的計算資源，彈性構(gòu)建虛擬集群，實現(xiàn)用戶的按需計算。主要包括3個模塊：用戶作業(yè)提交模塊、虛擬集群彈性構(gòu)建模塊、虛擬集群信息監(jiān)控模塊。 1)作業(yè)提交模塊 用戶通過作業(yè)提交頁面可以將任務(wù)遞交到虛擬集群里進行運算，待作業(yè)運行完成獲取運算的結(jié)果。作業(yè)提交模塊流程圖如圖2所示。

2)虛擬計算彈性構(gòu)建模塊 當虛擬集群的計算資源不能滿足用戶申請所需的計算資源時，中間件平臺就動態(tài)的虛擬出所需的虛擬機計算資源并動態(tài)添加到虛擬集群中以滿足用戶的需求。彈性構(gòu)建虛擬集群流程圖如圖3所示。

3)虛擬集群信息監(jiān)控模塊 主要完成對虛擬集群各虛擬計算節(jié)點信息的監(jiān)控，當作業(yè)成功提交并運行，監(jiān)控模塊采用Web頁面的方式動態(tài)的顯示各虛擬節(jié)點的運行狀態(tài)。4．3 表示層表示層是程序架構(gòu)最頂層，用戶請求及信息獲取都是通過該層獲取，這里主要通過ASP．NET實現(xiàn)，ASPX頁面實現(xiàn)HTML和程序代碼的分離，把豐富的功能展現(xiàn)給用戶，同時也使開發(fā)維護更簡單安全。5 結(jié)束語云存儲不是存儲，而是服務(wù)。就如同云狀的廣域網(wǎng)和互聯(lián)網(wǎng)一樣。云存儲對使用者來講，不是指某一個具體的設(shè)備，而是指一個由許許多多個存儲設(shè)備和服務(wù)器所構(gòu)成的集合體。開發(fā)、部署一個高性能集群系統(tǒng)平臺，利用云計算建立容錯機制，保證若干節(jié)點失效時并不影響整個計算任務(wù)的進展。

關(guān)鍵詞： 海量數(shù)據(jù) 服務(wù)質(zhì)量 服務(wù)平臺