- 相關(guān)推薦
論虛擬存儲(chǔ)技術(shù)及其在視頻網(wǎng)絡(luò)中的應(yīng)用
論虛擬存儲(chǔ)技術(shù)及其在視頻網(wǎng)絡(luò)中的應(yīng)用
中國(guó)西部地區(qū)電視技術(shù)協(xié)會(huì)2003年年會(huì)電視技術(shù)論文評(píng)比二等獎(jiǎng)一、存儲(chǔ)需求催生虛擬存儲(chǔ)
隨著圍繞數(shù)字化、網(wǎng)絡(luò)化開展的各種多媒體處理業(yè)務(wù)的不斷增加，電視臺(tái)的媒體數(shù)據(jù)正日益膨脹。數(shù)據(jù)存儲(chǔ)變成了新的難題，存儲(chǔ)系統(tǒng)網(wǎng)絡(luò)平臺(tái)已經(jīng)成為各種網(wǎng)絡(luò)系統(tǒng)中的一個(gè)核心平臺(tái)。視頻網(wǎng)絡(luò)中的各種應(yīng)用對(duì)存儲(chǔ)網(wǎng)絡(luò)平臺(tái)的要求也越來越高，它不僅表現(xiàn)在對(duì)存儲(chǔ)容量的要求，還包括對(duì)數(shù)據(jù)訪問性能、數(shù)據(jù)傳輸性能、數(shù)據(jù)管理能力、存儲(chǔ)擴(kuò)展能力等等多個(gè)方面的要求。具體表現(xiàn)有一下幾點(diǎn)：
1、支持從異構(gòu)主機(jī)到異構(gòu)存儲(chǔ)系統(tǒng)的透明訪問。即服務(wù)器可以運(yùn)行異構(gòu)操作系統(tǒng),例如Windows、Unix或Linux等等。存儲(chǔ)設(shè)備可以來自不同的供應(yīng)商，無論是EMC、康柏、HP、還是StorageTek的存儲(chǔ)設(shè)備，都可以順利地接入系統(tǒng)。
2、支持24×7小時(shí)的數(shù)據(jù)可用性。我們知道，電視臺(tái)網(wǎng)絡(luò)系統(tǒng)的時(shí)效性是很強(qiáng)的，這樣就要求網(wǎng)絡(luò)系統(tǒng)必須具有極高的可靠性。首先要求系統(tǒng)有較高的容錯(cuò)性，例如控制器要有高可容錯(cuò)性，存儲(chǔ)子系統(tǒng)要求具備容錯(cuò)冗余；其次故障恢復(fù)時(shí)間要求很短，或盡可能做到進(jìn)行系統(tǒng)維護(hù)、設(shè)備更換時(shí)，不中止應(yīng)用程序的使用。
3、高性能的數(shù)據(jù)訪問。非線性制作網(wǎng)絡(luò)中的編輯工作站任何時(shí)候都需要無阻礙的實(shí)時(shí)、快速的獲得所需要的各種數(shù)據(jù)。
4、數(shù)據(jù)安全性。只允許有訪問權(quán)的用戶進(jìn)行相應(yīng)數(shù)據(jù)的訪問，同時(shí)能夠提供靈活的備份方案和措施，支持?jǐn)?shù)據(jù)保護(hù)和恢復(fù)；
5、平滑的存儲(chǔ)容量擴(kuò)展。視頻網(wǎng)絡(luò)的建立是受建網(wǎng)時(shí)所處的技術(shù)、具體工作需要所限制的。任何單位都要或多或少地面對(duì)網(wǎng)絡(luò)升級(jí)的問題，我們希望存儲(chǔ)網(wǎng)絡(luò)上添加存儲(chǔ)設(shè)備的過程是透明，而且任何工作站都不需停機(jī)。
6、簡(jiǎn)化管理、降低管理成本�？蛻羰钱a(chǎn)品的使用者，所以越來越多的系統(tǒng)操作環(huán)境，使用不同廠商的硬件和軟件產(chǎn)品，且彼此不能兼容，管理起來的確不是一件輕松的事情。操作友好、管理簡(jiǎn)單是未來產(chǎn)品的發(fā)展目標(biāo)。
這些對(duì)存儲(chǔ)網(wǎng)絡(luò)平臺(tái)的要求歸結(jié)起來就是：如何以有限的人力、物力資源，經(jīng)濟(jì)有效地管理不斷增長(zhǎng)的數(shù)據(jù)，簡(jiǎn)化管理異構(gòu)操作環(huán)境的復(fù)雜性。虛擬存儲(chǔ)技術(shù)以其獨(dú)特的優(yōu)勢(shì)成為廣播電視行業(yè)應(yīng)對(duì)上述挑戰(zhàn)的最佳解決方案。
二、虛擬存儲(chǔ)的概念及特點(diǎn)
一段時(shí)間以來，不同版本的虛擬存儲(chǔ)（Storage Virtulization）概念相繼涌現(xiàn)，有從軟件角度詮釋的，也有從硬件角度進(jìn)行例證的。每個(gè)廠商都有根據(jù)對(duì)虛擬技術(shù)的理解向用戶提供的實(shí)用產(chǎn)品。在虛擬存儲(chǔ)方面真可謂百家爭(zhēng)鳴，所以很難對(duì)虛擬存儲(chǔ)的概念給出一個(gè)清晰而準(zhǔn)確的描述。
盡管如此，總結(jié)一些虛擬存儲(chǔ)的共同特性可以看出，所謂虛擬存儲(chǔ)，就是把多個(gè)存儲(chǔ)介質(zhì)模塊（如磁盤、磁盤陣列）通過一定的手段集中管理起來，所有的存儲(chǔ)模塊在一?quot;存儲(chǔ)池"（Storage Pool）中得到統(tǒng)一管理。在虛擬存儲(chǔ)環(huán)境下，無論后臺(tái)物理存儲(chǔ)是什么設(shè)備，服務(wù)器及工作站看到的都是其熟悉的存儲(chǔ)設(shè)備的邏輯鏡像。即使物理存儲(chǔ)發(fā)生了變化，這種邏輯鏡像也不會(huì)改變，系統(tǒng)管理員不必關(guān)心后臺(tái)存儲(chǔ)，只需專注于管理存儲(chǔ)空間，所有的存儲(chǔ)管理操作，例如系統(tǒng)升級(jí)、建立和分配虛擬磁盤、改變RAID級(jí)別、擴(kuò)充存儲(chǔ)空間等都比以前容易的多，存儲(chǔ)管理變得輕松簡(jiǎn)單。
從用戶的角度來看，可以用一句更簡(jiǎn)單的話來概括虛擬存儲(chǔ)--使用存儲(chǔ)空間而不是使用物理存儲(chǔ)硬件（磁盤、磁帶），管理存儲(chǔ)空間而不是管理物理存儲(chǔ)硬件。
虛擬存儲(chǔ)具有以下幾個(gè)特點(diǎn)：
1、虛擬存儲(chǔ)可以大大提高存儲(chǔ)系統(tǒng)的整體訪問帶寬，這也是其對(duì)于視頻網(wǎng)絡(luò)系統(tǒng)來說最有價(jià)值的一個(gè)特點(diǎn)。我們知道，視頻網(wǎng)絡(luò)的存儲(chǔ)系統(tǒng)一般是由多個(gè)存儲(chǔ)模塊組成，而虛擬存儲(chǔ)系統(tǒng)可以很好地進(jìn)行負(fù)載平衡，把每一次數(shù)據(jù)訪問所需要的帶寬合理地分配到各個(gè)存儲(chǔ)模塊上，這樣系統(tǒng)的整體訪問帶寬就增大了。例如，一個(gè)存儲(chǔ)系統(tǒng)中有4個(gè)存儲(chǔ)模塊，每一個(gè)存儲(chǔ)模塊的訪問帶寬為50MB/s，則這個(gè)存儲(chǔ)系統(tǒng)的總訪問帶寬就可以接近各存儲(chǔ)模塊帶寬之和，即200MB/s。
2、虛擬存儲(chǔ)提供了一個(gè)大容量存儲(chǔ)系統(tǒng)的集中管理手段，由網(wǎng)絡(luò)中的一個(gè)環(huán)節(jié) (如服務(wù)器)進(jìn)行統(tǒng)一管理，避免了由于存儲(chǔ)設(shè)備擴(kuò)充而帶來的管理方面的麻煩。例如，使用一般的存儲(chǔ)系統(tǒng)，當(dāng)在增加新的存儲(chǔ)設(shè)備時(shí)，整個(gè)系統(tǒng)(包括網(wǎng)絡(luò)中的諸多用戶設(shè)備)都需要重新進(jìn)行繁瑣的配置工作，這樣才可以使這個(gè)"新成員"加入到存儲(chǔ)系統(tǒng)中。而使用虛擬存儲(chǔ)技術(shù)，在增加新的存儲(chǔ)設(shè)備時(shí)，只需要網(wǎng)絡(luò)管理員對(duì)存儲(chǔ)系統(tǒng)進(jìn)行較為簡(jiǎn)單的系統(tǒng)配置更改，客戶端無需任何操作、只是感到存儲(chǔ)系統(tǒng)的容量增大了。
3、虛擬存儲(chǔ)技術(shù)為存儲(chǔ)資源管理提供了更好的靈活性。它可以將不同類型的存儲(chǔ)設(shè)備集中管理使用，保障了用戶以往購(gòu)買存儲(chǔ)設(shè)備的投資。
三、虛擬存儲(chǔ)的實(shí)現(xiàn)方式
隨著越來越多的廠商都在發(fā)展各自的技術(shù)，虛擬存儲(chǔ)技術(shù)已經(jīng)融合到存儲(chǔ)系統(tǒng)結(jié)構(gòu)的各個(gè)環(huán)節(jié)中。從系統(tǒng)的觀點(diǎn)看，有三種主要的虛擬存儲(chǔ)實(shí)現(xiàn)方式：基于服務(wù)器的虛擬存儲(chǔ)、基于存儲(chǔ)設(shè)備的虛擬存儲(chǔ)以及基于存儲(chǔ)網(wǎng)絡(luò)的虛擬存儲(chǔ)。如圖1所示。
下面對(duì)這三種虛擬存儲(chǔ)的實(shí)現(xiàn)方式分別進(jìn)行介紹。
1、基于服務(wù)器的虛擬存儲(chǔ)
基于服務(wù)器的虛擬存儲(chǔ)是通過將虛擬化層放在服務(wù)器上實(shí)現(xiàn)的。這種實(shí)現(xiàn)方式不需要額外的特殊硬件，虛擬化層以軟件模塊的形式嵌入到服務(wù)器的操作系統(tǒng)中，將虛擬層作為擴(kuò)展驅(qū)動(dòng)模塊，為連接服務(wù)器的各種存儲(chǔ)設(shè)備提供必須的控制功能。
這種方法有其自身不可避免的缺點(diǎn)：首先，兼容性不好，由于虛擬化層駐留在服務(wù)器上，因而軟件模塊就必須能嵌入到各種類型的操作系統(tǒng)中，增加了軟件實(shí)現(xiàn)的難度。因此，這種方法往往適合配置在系統(tǒng)采用同一個(gè)廠商的服務(wù)器，甚至是一個(gè)同構(gòu)的存儲(chǔ)環(huán)境中。這顯然增加了用戶的設(shè)備依賴性和局限性；其次，需要采用集中管理策略，這種虛擬化的技術(shù)實(shí)際上是在一個(gè)分布式的環(huán)境中實(shí)現(xiàn)的，當(dāng)任何一個(gè)服務(wù)器對(duì)數(shù)據(jù)進(jìn)行惡意或非法的操作時(shí)，就可能會(huì)影響到所有連接到存儲(chǔ)設(shè)備的數(shù)據(jù)的完整性和一致性，因此需要適當(dāng)?shù)募泄芾聿呗裕?最后，這種實(shí)現(xiàn)方法從客觀上造成了主機(jī)的負(fù)載和復(fù)雜度的增加。
但是，因?yàn)椴恍枰魏胃郊佑布�，基于服�?wù)器的虛擬實(shí)現(xiàn)方式最容易實(shí)現(xiàn)，其成本最低。目前已經(jīng)有成熟的這類軟件產(chǎn)品。這些軟件可以提供便于使用的圖形界面，方便地用于存儲(chǔ)的管理和虛擬，在主機(jī)和小型存儲(chǔ)系統(tǒng)中有著良好的負(fù)載平衡機(jī)制。從這個(gè)意義上看，基于服務(wù)器的存儲(chǔ)虛擬是一種性價(jià)比不錯(cuò)的方式。
2、基于存儲(chǔ)設(shè)備的虛擬存儲(chǔ)
基于存儲(chǔ)設(shè)備的虛擬存儲(chǔ)是將虛擬化層放在存儲(chǔ)設(shè)備的適配器、控制器等上來實(shí)現(xiàn)的。這種實(shí)現(xiàn)方式從理論上說性能是最優(yōu)的，它能夠充分考慮存儲(chǔ)設(shè)備的物理特性，并且將服務(wù)器從虛擬存儲(chǔ)的實(shí)現(xiàn)工作中解放出來，直接在存儲(chǔ)設(shè)備上實(shí)現(xiàn)，方法簡(jiǎn)單，也為用戶和系統(tǒng)管理員提供了最大的方便性。但是，基于存儲(chǔ)設(shè)備的虛擬存儲(chǔ)對(duì)存儲(chǔ)容量的擴(kuò)展有很大限制，同時(shí)，對(duì)于包含多家廠商存儲(chǔ)設(shè)備的存儲(chǔ)系統(tǒng)來說，這種方法的運(yùn)行效果并不是很好。
最典型的虛擬存儲(chǔ)璞甘譴排陶罅校≧AID）。RAID的虛擬化是由RAID控制器實(shí)現(xiàn)的，它將多個(gè)物理磁盤按不同的分塊級(jí)別組織在一起，通過CPU及陣列管理固件來控制及管理硬盤，解釋用戶的I/O指令，并將它們發(fā)給物理磁盤執(zhí)行，從而屏蔽了具體的物理磁盤，為用戶提供了一個(gè)統(tǒng)一的具有容錯(cuò)能力的邏輯虛擬磁盤，這樣用戶對(duì)RAID的存儲(chǔ)操作就像對(duì)普通磁盤一樣。
3、基于網(wǎng)絡(luò)的虛擬存儲(chǔ)
從技術(shù)上講，在網(wǎng)絡(luò)端實(shí)施虛擬存儲(chǔ)的結(jié)構(gòu)形式有以下兩種：對(duì)稱式與非對(duì)稱式，下面就對(duì)這兩種結(jié)構(gòu)形式分別加以介紹：
（1）對(duì)稱式虛擬存儲(chǔ)
從圖2可以看出，對(duì)稱式虛擬存儲(chǔ)就是指進(jìn)行虛擬存儲(chǔ)管理和控制的高速存儲(chǔ)控制設(shè)備（High Speed Traffic Directors，縮寫為HSTD）置于網(wǎng)絡(luò)系統(tǒng)的傳輸通道上。HSTD與存儲(chǔ)池子系統(tǒng)（Storage Pool）集成在一起，組成存儲(chǔ)區(qū)域網(wǎng)絡(luò)應(yīng)用系統(tǒng)（SAN Appliance）。
在該虛擬存儲(chǔ)形式中HSTD在服務(wù)器與存儲(chǔ)池?cái)?shù)據(jù)交換的過程中起到了核心作用。其虛擬存儲(chǔ)過程可以這樣描述：由HSTD內(nèi)嵌的存儲(chǔ)管理系統(tǒng)將存儲(chǔ)池中的物理硬盤虛擬為邏輯存儲(chǔ)單元（LUN），并進(jìn)行端口映射（就是指定某一個(gè)LUN能被哪些端口所見），在服務(wù)器端，將各個(gè)可見的邏輯存儲(chǔ)單元映射為操作系統(tǒng)可以識(shí)別的盤符。當(dāng)服務(wù)器向存儲(chǔ)網(wǎng)絡(luò)系統(tǒng)中寫入數(shù)據(jù)時(shí)，用戶只需要將數(shù)據(jù)寫入到指定為自己所用的映射的盤符（LUN），數(shù)據(jù)經(jīng)過HSTD的高速并行端口，先寫入高速緩存，HSTD中的存儲(chǔ)管理系統(tǒng)自動(dòng)完成目標(biāo)位置由LUN到物理磁盤的轉(zhuǎn)換，在此過程中用戶見到的只是虛擬邏輯單元，而不必關(guān)心每個(gè)LUN的具體物理組織結(jié)構(gòu)。該存儲(chǔ)形式具有以下主要優(yōu)點(diǎn)：
·采用大容量高速緩存，顯著提高數(shù)據(jù)傳輸速度。緩存是存儲(chǔ)系統(tǒng)中廣泛采用的位于主機(jī)與存儲(chǔ)設(shè)備之間的I/O路徑上的中間介質(zhì)。當(dāng)服務(wù)器從存儲(chǔ)設(shè)備中讀取數(shù)據(jù)時(shí)，會(huì)把與當(dāng)前數(shù)據(jù)存儲(chǔ)位置相連的數(shù)據(jù)讀到緩存中，并把頻繁調(diào)用的數(shù)據(jù)保留在緩存中；當(dāng)服務(wù)器讀數(shù)據(jù)時(shí)，在很大幾率上能夠從緩存中找到所需要的數(shù)據(jù)。這樣就可以直接從緩存上讀出，我們知道從緩存上讀取數(shù)據(jù)的速度要遠(yuǎn)大于從硬盤中讀取數(shù)據(jù)的速度；當(dāng)服務(wù)器向存儲(chǔ)設(shè)備寫入數(shù)據(jù)時(shí)，先把數(shù)據(jù)寫入到緩存中，待服務(wù)器端寫入動(dòng)作停止，再?gòu)木彺嬷袑?shù)據(jù)寫入硬盤，這種寫入方式同樣高于直接寫入硬盤的速度；
·采用多端口通道并行技術(shù)，增加數(shù)據(jù)帶寬。我們知道在傳統(tǒng)的FC存儲(chǔ)設(shè)備中，控制端口與硬盤之間的關(guān)系是固定的，訪問一塊硬盤只能通過控制它的控制器端口進(jìn)行。在對(duì)稱式虛擬存儲(chǔ)設(shè)備中，SAN Appliance的存儲(chǔ)端口與LUN的關(guān)系是虛擬的，也就是說多臺(tái)服務(wù)器可以通過多個(gè)存儲(chǔ)端口（最多8個(gè)）并發(fā)訪問同一個(gè)LUN。在光纖通道100MBps帶寬的大前提下，并行工作的端口數(shù)量越多，數(shù)據(jù)帶寬就越高；
· 邏輯存儲(chǔ)單元提供了高速的磁盤訪問速度。在視頻網(wǎng)絡(luò)中，應(yīng)用程序讀寫數(shù)據(jù)時(shí)以固定大小的數(shù)據(jù)塊為單位（從512byte到1MB之間）。而存儲(chǔ)系統(tǒng)為了保證應(yīng)用程序的帶寬需求，往往設(shè)計(jì)為傳輸512byte以上的數(shù)據(jù)塊時(shí)才能達(dá)到其最佳I/O性能。在傳統(tǒng)SAN結(jié)構(gòu)中，當(dāng)容量需求增大時(shí)，唯一的解決辦法是多塊磁盤（物理或邏輯的）綁定為帶區(qū)集，實(shí)現(xiàn)大容量LUN。在對(duì)稱式虛擬存儲(chǔ)系統(tǒng)中，為服務(wù)器提供真正的超大容量、高性能LUN，而不是用帶區(qū)集方式實(shí)現(xiàn)的性能較差的邏輯卷。與帶區(qū)集相比，Power LUN具有很多優(yōu)勢(shì)，如更大的數(shù)據(jù)塊會(huì)真正被存儲(chǔ)系統(tǒng)所接受，有效地提高了數(shù)據(jù)的傳輸速度，同時(shí)，也減少了由于帶區(qū)集而帶來的不穩(wěn)定因素。
但是對(duì)稱虛擬存儲(chǔ)也存在一些不足：
·由于虛擬存儲(chǔ)的控制交換設(shè)備直接存在于服務(wù)器和存儲(chǔ)設(shè)備之間，所有服務(wù)器對(duì)存儲(chǔ)設(shè)備的訪問都要經(jīng)過它的通道與管理。為了使控制交換設(shè)備不成為整個(gè)系統(tǒng)的帶寬瓶頸，該設(shè)備就需要有很大容量的緩存(Cache)來用于進(jìn)行數(shù)據(jù)交換，所以通常這種控制交換設(shè)備都比較昂貴；
·同樣由于虛擬存儲(chǔ)的控制交換設(shè)備直接存在于服務(wù)器和存儲(chǔ)設(shè)備之間，因此該設(shè)備的安全性對(duì)于整個(gè)系統(tǒng)就是至關(guān)重要的， 一旦它出現(xiàn)故障，所有數(shù)據(jù)通道將被阻塞，造成網(wǎng)絡(luò)系統(tǒng)數(shù)據(jù)傳輸崩潰。
（2）非對(duì)稱式虛擬存儲(chǔ)
非對(duì)稱式虛擬存儲(chǔ)結(jié)構(gòu)如圖3所示。
從圖3可以看出，非對(duì)稱式虛擬存儲(chǔ)就是在服務(wù)器和存儲(chǔ)設(shè)備之間正常的數(shù)據(jù)訪問傳輸通道之外，通過配置一個(gè)虛擬存儲(chǔ)管理器來實(shí)現(xiàn)存儲(chǔ)器池的虛擬化處理。
虛擬存儲(chǔ)管理器通過其FC端口連接到存儲(chǔ)網(wǎng)絡(luò)中，并提供一個(gè)中央管理點(diǎn)，對(duì)整個(gè)存儲(chǔ)網(wǎng)絡(luò)進(jìn)行集中管理，同時(shí)，它還對(duì)磁盤陣列進(jìn)行虛擬化操作，將各陣列中的LUN虛擬為邏輯帶區(qū)集（Strip），并指定每臺(tái)服務(wù)器對(duì)每一個(gè)Strip的訪問權(quán)限（可寫、可讀、禁止訪問等）。服務(wù)器在訪問Strip時(shí)，首先通過控制路徑，向虛擬存儲(chǔ)管理器的代理發(fā)出訪問Strip的請(qǐng)求，代理根據(jù)其請(qǐng)求的合法性，為服務(wù)器建立訪問Strip的數(shù)據(jù)通道，進(jìn)行規(guī)定的讀或?qū)懖僮�。非�?duì)稱虛擬存儲(chǔ)與對(duì)稱式虛擬存儲(chǔ)相比較有如下優(yōu)點(diǎn)：
·虛擬存儲(chǔ)控制器只是進(jìn)行對(duì)所有存儲(chǔ)設(shè)備的軟件配置和將這些配置與管理信息傳送給各服務(wù)器的工作，因而其無需大量的和高價(jià)性的硬件部件，其價(jià)格就相對(duì)較低。
·將不同物理硬盤陣列中的容量進(jìn)行邏輯組合，實(shí)現(xiàn)虛擬的帶區(qū)集，將多個(gè)陣列控制器端口綁定，在一定程度上提高了系統(tǒng)的可用帶寬；
·虛擬存儲(chǔ)控制器不在實(shí)際的數(shù)據(jù)通道上，它的硬件性能不會(huì)成為系統(tǒng)帶寬的瓶頸，同時(shí)，即使它出現(xiàn)故障，也不會(huì)引起網(wǎng)絡(luò)系統(tǒng)的數(shù)據(jù)通道阻塞，提高了系統(tǒng)的安全性。
但是非對(duì)稱虛擬存儲(chǔ)也存在一些不足：
·非對(duì)稱虛擬存儲(chǔ)的安全性相對(duì)較差。它在本質(zhì)上還是帶區(qū)集--磁盤陣列結(jié)構(gòu)，一旦帶區(qū)集中的某個(gè)磁盤陣列控制器損壞，或者這個(gè)陣列到交換機(jī)路徑上的銅纜、GBIC損壞，都會(huì)導(dǎo)致一個(gè)虛擬的LUN離線，而帶區(qū)集本身是沒有容錯(cuò)能力的，一個(gè)LUN的損壞就意味著整個(gè)Strip里面數(shù)據(jù)的丟失；
·由于非對(duì)稱虛擬存儲(chǔ)的帶寬提高是通過陣列端口綁定來實(shí)現(xiàn)的，而普通光纖通道陣列控制器的有效帶寬僅在40MB/s左右，因此要達(dá)到幾百兆的帶寬就意味著要調(diào)用十幾臺(tái)陣列，這樣就會(huì)占用幾十個(gè)交換機(jī)端口，在只有一兩臺(tái)交換機(jī)的中小型網(wǎng)絡(luò)中，這是不可實(shí)現(xiàn)的。
四、 虛擬存儲(chǔ)在視頻網(wǎng)絡(luò)中的應(yīng)用
1、在分級(jí)存儲(chǔ)（HSM）管理系統(tǒng)中的應(yīng)用
國(guó)內(nèi)的視頻公司如索貝、大洋都開發(fā)出了各自的媒體資產(chǎn)管理系統(tǒng)。在媒體資產(chǎn)管理系統(tǒng)的存儲(chǔ)模式設(shè)計(jì)中，他們都推出了在線（On-line）、近線(Near-line)、離線(Off-line)三級(jí)相互結(jié)合的存儲(chǔ)模式。如圖4所示是近線存儲(chǔ)的系統(tǒng)結(jié)構(gòu)示意圖。
從圖4我們可以看出，近線存儲(chǔ)實(shí)際上就是一個(gè)分級(jí)存儲(chǔ)系統(tǒng)，它采用的是分級(jí)存儲(chǔ)的三層次的存儲(chǔ)架構(gòu)，即它由承擔(dān)在線存儲(chǔ)的磁盤陣列、近線存儲(chǔ)的光盤庫(kù)和離線存儲(chǔ)的磁帶庫(kù)三部分來組成。而典型的服務(wù)器端虛擬存儲(chǔ)主要是指分級(jí)存儲(chǔ)，也就是用磁帶庫(kù)來做虛擬磁盤。在服務(wù)器的磁盤容量不足或者希望用較廉價(jià)的磁帶來仿真較昂貴的磁盤的時(shí)候，常常采用這種方案。
在業(yè)內(nèi)引起很大反響的 "中央電視臺(tái)新聞共享系統(tǒng)"采用了StorageTek公司的近線存儲(chǔ)解決方案，下面就以StorageTek公司的VSM (虛擬存儲(chǔ)管理系統(tǒng))為例，來介紹虛擬存儲(chǔ)技術(shù)在HSM中的應(yīng)用。
傳統(tǒng)的存儲(chǔ)環(huán)境下，客戶選擇磁帶和自動(dòng)磁帶庫(kù)主要用于備份，但是越來越多的客戶考慮到價(jià)格因素，開始用磁帶代替磁盤用于某些應(yīng)用，然而，服務(wù)器本身的設(shè)計(jì)造成磁帶介質(zhì)的使用率低下，當(dāng)將數(shù)據(jù)存入磁帶盒時(shí)，只能存入一組數(shù)據(jù)。根據(jù)數(shù)據(jù)量的大小，沒被使用起來的磁帶盒容量可高達(dá)99%。所以，即便客戶使用自動(dòng)磁帶庫(kù)，他們也只能將20%～50%的并經(jīng)常使用的磁帶盒放入磁帶庫(kù)自動(dòng)操作，其他的仍放在手工操作的架子上。
StorageTek公司的VSM (虛擬存儲(chǔ)管理系統(tǒng)) 是為有效和充分地使用磁帶介質(zhì)和磁帶機(jī)驅(qū)動(dòng)器資源而設(shè)計(jì)的虛擬存儲(chǔ)解決方案。其利用磁盤緩存仿真成虛擬的磁帶機(jī)和磁帶介質(zhì)。也就是說，一個(gè)物理磁帶機(jī)可以被虛擬仿真成多臺(tái)磁帶機(jī)的鏡像。多個(gè)虛擬磁帶卷經(jīng)疊加后才寫入物理磁帶介質(zhì)上，這樣就有效地并充分地使用磁帶介質(zhì)和磁帶機(jī)。
VSM由一系列硬件和智能軟件產(chǎn)品組成。VSM 的硬件主要是VTSS--虛擬磁帶子系統(tǒng)和自動(dòng)磁帶庫(kù)產(chǎn)品，VSM的軟件主要包括VTCS(虛擬磁帶控制系統(tǒng))、ExPR(專業(yè)性能報(bào)告系統(tǒng)) 和控制自動(dòng)磁帶庫(kù)的 HSC(主機(jī)軟件部件) 軟件。
圖5是虛擬磁帶子系統(tǒng)的示意圖，物理磁帶機(jī)或磁帶庫(kù)被放置在磁盤緩存的后面。VSM將存儲(chǔ)在磁盤緩存中的虛擬磁帶卷遷移到真正的物理磁帶上，這個(gè)過程不占用服務(wù)器資源。被遷移出去的虛擬磁帶卷可以從磁盤緩存中刪除，釋放的磁盤空間用以存放新的虛擬磁帶。被遷移出去的虛擬磁帶卷也可以保留一段時(shí)間再刪除，以便需要用它進(jìn)行恢復(fù)。
當(dāng)需要從虛擬磁帶卷上恢復(fù)數(shù)據(jù)時(shí)，如果該虛擬磁帶仍存放在磁盤緩存中，那么可以直接從磁盤緩存恢復(fù)到服務(wù)器磁盤上；如果該虛擬磁帶已被遷移并且已從磁盤緩存中刪除，那么可以從存放該虛擬磁帶卷的物理磁帶上將數(shù)據(jù)恢復(fù)。多個(gè)虛擬磁帶卷(VTV)可以合并疊加后寫到一盤物理磁帶介質(zhì)(MVC)上。這樣做，一方面可以確保備份數(shù)據(jù)的安全，另一方面可以充分利用大容量磁帶介質(zhì)的容量。
VTCS軟件是HSC軟件的擴(kuò)充，它們配合起來工作，決定哪些作業(yè)備份數(shù)據(jù)寫入虛擬磁帶子系統(tǒng)，哪些直接寫到物理磁帶上。對(duì)于要被寫入虛擬磁帶系統(tǒng)的數(shù)據(jù)，VTCS負(fù)責(zé)分配虛擬磁帶驅(qū)動(dòng)器(VTD)和虛擬磁帶卷(VTV)，并完成虛擬的裝帶/卸帶工作。
圖6所示是VSM的工作原理，首先我們可以看出VSM是通過ESCON通道與主機(jī)相連接。VSM 將磁盤系統(tǒng)仿真成虛擬的3490E磁帶機(jī)驅(qū)動(dòng)器和3490E磁帶介質(zhì)，以磁盤作為緩存。也就是說，一個(gè)物理磁帶機(jī)可以被虛擬仿真成多臺(tái)磁帶機(jī)的鏡像，多個(gè)虛擬磁帶卷（VTV）經(jīng)疊加后才寫進(jìn)物理磁帶卷（MVC）上。大部分磁帶操作都直接面對(duì)磁盤緩存的、虛擬磁帶的裝帶。裝帶/卸帶都是在瞬間完成的（僅需20秒），提高了素材從近線設(shè)備遷移到在線設(shè)備的效率。
2、在存儲(chǔ)區(qū)域網(wǎng)絡(luò)（SAN）中的應(yīng)用
目前以SAN為代表的網(wǎng)絡(luò)存儲(chǔ)技術(shù)被公認(rèn)為是存儲(chǔ)業(yè)界的重要發(fā)展方向，SAN具有高可用性、高可擴(kuò)展性、高性能及集中存儲(chǔ)管理等諸多優(yōu)點(diǎn)，但同時(shí)它也存在一些與生俱來的問題：互操作性比較差，導(dǎo)致不同提供商的產(chǎn)品難以兼容；復(fù)雜的體系結(jié)構(gòu)增加了管理復(fù)雜度等。
采用什么措施才能改變SAN的種種問題呢？于是就有人提出了SAN內(nèi)部虛擬化的解決方案，就是VSAN。SAN內(nèi)部的虛擬化的實(shí)現(xiàn)，就是在原有SAN體系結(jié)構(gòu)中加入一個(gè)新的虛擬化層架構(gòu)。通過這個(gè)虛擬化層，可以將多種設(shè)備上比較小的存儲(chǔ)容量集合起來，虛擬成一個(gè)大的磁盤，提高存儲(chǔ)容量的使用率，為應(yīng)用程序和用戶提供SAN的全局邏輯虛擬化視圖。服務(wù)器不必關(guān)心后端物理設(shè)備的物理特性，也不會(huì)因?yàn)槲锢碓O(shè)備發(fā)生任何變化而受影響。這樣從用戶和應(yīng)用程序來看，原來復(fù)雜結(jié)構(gòu)的SAN就是一個(gè)結(jié)構(gòu)相對(duì)簡(jiǎn)單的、具有統(tǒng)一界面的虛擬存儲(chǔ)池，它對(duì)用戶和應(yīng)用程序完全透明，而存儲(chǔ)池中邏輯存儲(chǔ)單元的具體細(xì)節(jié)則只是系統(tǒng)管理員所關(guān)心的問題。管理員可以通過GUI等圖形用戶界面讓很多服務(wù)器共享后端的存儲(chǔ)池，因而大大提高了系統(tǒng)管理員的工作效率。
目前，國(guó)內(nèi)的視頻廠商已經(jīng)推出了各自的基于虛擬SAN結(jié)構(gòu)的技術(shù)，比較有代表性有大洋公司的SDD技術(shù)、索貝公司的虛擬存儲(chǔ)技術(shù)（SVM），以及現(xiàn)在流行的并行處理技術(shù)S2A系列存儲(chǔ)系統(tǒng)，下面就分別給予介紹。
（1）基于FC技術(shù)的以SDD為核心的SAN結(jié)構(gòu)網(wǎng)絡(luò)
SDD(SAN DataDirector，簡(jiǎn)稱SDD)是一種新型的集中存儲(chǔ)設(shè)備，它的核心技術(shù)是DataDirect Networks公司提出的新一代SAN技術(shù)，其實(shí)質(zhì)是對(duì)稱式虛擬存儲(chǔ)技術(shù)。它將交換、緩存、RAID、I/O、ASIC以及數(shù)據(jù)和文件的管理集于一身，并可以完成數(shù)據(jù)和網(wǎng)絡(luò)的管理，為數(shù)據(jù)交換提供高帶寬、高容錯(cuò)的集中存儲(chǔ)訪問。 SDD內(nèi)部有二個(gè)完全相同的組件，稱之為HSTD（High Speed Traffic Directors）。每個(gè)HSTD有四個(gè)100MB/s帶寬流量的數(shù)據(jù)交換端口，稱之為HOST。一個(gè)SDD擁有二個(gè)HSTD的800MB/s帶寬。HOST端口可直接與服務(wù)器、工作站相連，也可與光通道交換機(jī)相連。每個(gè)HSTD還有一個(gè)60芯的數(shù)據(jù)總線用于和硬盤陣列相連完成數(shù)據(jù)交換。SDD具有5GB容量的數(shù)據(jù)緩存能力，為整個(gè)系統(tǒng)讀寫公用， 從而保證大量數(shù)據(jù)的持續(xù)讀寫性能。如圖7是基于SDD的網(wǎng)絡(luò)結(jié)構(gòu)圖：
SDD主要技術(shù)優(yōu)勢(shì)有以下幾點(diǎn)：
·帶寬處理能力大幅提高。內(nèi)建強(qiáng)大的RAID引擎，它的處理能力遠(yuǎn)大于磁盤通道和服務(wù)器通道標(biāo)稱的帶寬，使陣列的控制器不會(huì)成為瓶頸。單個(gè)SDD可提供高達(dá)800Mb/s帶寬。同時(shí)提供廣泛的、線性的性能提升；
·擴(kuò)展性好。在SDD網(wǎng)絡(luò)中，F(xiàn)C交換機(jī)都與SDD控制器相連處于并行工作狀態(tài)且互不影響。當(dāng)站點(diǎn)增加時(shí)，不用交換機(jī)級(jí)聯(lián)，只需將新的FC交換機(jī)接入SDD即可，不用改動(dòng)以前的連接。帶寬得到線性增長(zhǎng)，能構(gòu)架大型網(wǎng)絡(luò)；
·穩(wěn)定性、安全性好。網(wǎng)絡(luò)結(jié)構(gòu)簡(jiǎn)單，連接點(diǎn)少，出錯(cuò)的機(jī)率小，易判斷出錯(cuò)點(diǎn)。SDD網(wǎng)絡(luò)結(jié)構(gòu)連接簡(jiǎn)單，故障點(diǎn)少。在存儲(chǔ)硬盤與SDD，F(xiàn)C交換機(jī)與SDD之間都采用雙鏈路備份，容錯(cuò)能力強(qiáng)。
（2） 基于FC技術(shù)的以STOREAGE為核心的虛擬存儲(chǔ)網(wǎng)絡(luò)系統(tǒng)
如圖8是以STOREAGE為核心的虛擬存儲(chǔ)網(wǎng)絡(luò)系統(tǒng)，其特性是利用多個(gè)硬盤塔和專用的控制器，實(shí)現(xiàn)網(wǎng)絡(luò)存儲(chǔ)帶寬擴(kuò)展，其實(shí)質(zhì)是非對(duì)稱式虛擬存儲(chǔ)系統(tǒng)。實(shí)際上，它和SDD的原理都是加大了RAID控制器的帶寬，只不過SDD是采用了集成在內(nèi)部專門的控制器，而STOREAGE是利用外部的虛擬存儲(chǔ)設(shè)備控制器（SVM）將已有的RAID控制器帶寬聚合起來。SVM處于系統(tǒng)數(shù)據(jù)通道之外，不直接參與數(shù)據(jù)的傳輸，服務(wù)器可以直接經(jīng)過交換機(jī)對(duì)存儲(chǔ)設(shè)備進(jìn)行訪問。SVM只對(duì)多存儲(chǔ)設(shè)備進(jìn)行讀/寫操作的通道端口配置，然后將配置信息提交所有服務(wù)器。各服務(wù)器在訪問存儲(chǔ)系統(tǒng)時(shí)，數(shù)據(jù)流不再經(jīng)過虛擬存儲(chǔ)控制器，而直接使所有存儲(chǔ)設(shè)備并發(fā)工作，達(dá)到增大傳輸帶寬。比如可以用四個(gè)硬盤塔，實(shí)現(xiàn)14*100Mb/s的寫入數(shù)據(jù)，26*100Mb/s的讀出數(shù)據(jù)。
和SDD比起來，它的優(yōu)勢(shì)在于：
·SVM只是進(jìn)行對(duì)所有存儲(chǔ)設(shè)備的配置和將這些配置與管理信息傳送給各主機(jī)的工作，主要利用軟件來完成該項(xiàng)工作，無需大量和高價(jià)的硬件部件，價(jià)格較低；
·SVM不在實(shí)際的數(shù)據(jù)通道，硬件性能不會(huì)成為系統(tǒng)帶寬的瓶頸；
·存儲(chǔ)系統(tǒng)可以對(duì)已有的系統(tǒng)升級(jí)，即只需增加硬盤塔和SVM控制器。配置比較靈
活，技術(shù)開放性好；
·SVM系統(tǒng)保持標(biāo)準(zhǔn)SAN結(jié)構(gòu)，為系統(tǒng)互連和擴(kuò)展提供技術(shù)保障。
但是，這種存儲(chǔ)結(jié)構(gòu)有個(gè)致命的缺點(diǎn)，就是在利用軟件來完成存儲(chǔ)設(shè)備的配置并把這些配置與管理信息傳給各主機(jī)的工作時(shí)，在交換機(jī)中保存許多信息，工作一段時(shí)間，交換機(jī)中就存在大量的冗余信息，這樣容易造成交換機(jī)的端口堵塞，嚴(yán)重時(shí)能造成交換機(jī)的死機(jī)。
（3）新一代并行存儲(chǔ)技術(shù)S2A系列高性能存儲(chǔ)系統(tǒng)
繼推出SDD存儲(chǔ)技術(shù)后，DDN公司又推出了新一代并行存儲(chǔ)技術(shù)S2A系列高性能存儲(chǔ)系統(tǒng)。產(chǎn)品系列包括S2A3000、S2A6000和S2A8000。目前，中央電視臺(tái)、廣州電視臺(tái)等許多家電視臺(tái)的視頻網(wǎng)絡(luò)都采用了這種存儲(chǔ)技術(shù)。
S2A全面提升了SAN技術(shù)的三個(gè)重要性能指標(biāo)：存儲(chǔ)容量、計(jì)算能力和傳輸能力，使它們均衡發(fā)展提供均衡的性能輸出，全面滿足了高性能存儲(chǔ)的需要。S2A無論從其針對(duì)視頻的帶寬要求還是安全特性方面，都非常適合目前電視臺(tái)節(jié)目制作系統(tǒng)的集中在線存儲(chǔ)，S2A是Datadirect公司提出的SAN Appliance(存域網(wǎng)絡(luò)設(shè)備)概念的產(chǎn)品，把交換設(shè)備、RAID設(shè)備、連接設(shè)備以及管理設(shè)備整合為一個(gè)統(tǒng)一的整體，為用戶提供一個(gè)完全透明的、高性能的、高安全性的以及可管理性的存儲(chǔ)設(shè)備。它提供了一整套系統(tǒng)管理軟件，其中一個(gè)就是Vlun Manger(虛擬邏輯單元管理器)，Vlun Manger提供存儲(chǔ)資源管理，可以任意分配所需要的存儲(chǔ)資源為需要訪問的主機(jī)設(shè)備訪問，提高了系統(tǒng)資源使用的靈活性。如圖9 所示是某家電視臺(tái)基于S2A6000構(gòu)建的新聞共享系統(tǒng)的存儲(chǔ)系統(tǒng)。
五、 結(jié)論
今天，虛擬存儲(chǔ)已經(jīng)不在是一個(gè)概念，而是一項(xiàng)成熟的、可實(shí)施的技術(shù)。盡管虛擬存儲(chǔ)技術(shù)目前并未解決自身遇到的種種問題，比如目前還沒有一個(gè)行業(yè)標(biāo)準(zhǔn)，但可以肯定一點(diǎn)的是，在不久的將來，它將成為廣電行業(yè)數(shù)據(jù)處理的一種標(biāo)準(zhǔn)。
【論虛擬存儲(chǔ)技術(shù)及其在視頻網(wǎng)絡(luò)中的應(yīng)用】相關(guān)文章：
服務(wù)器集群技術(shù)及其在視頻網(wǎng)絡(luò)中的應(yīng)用08-06
虛擬制造技術(shù)的相關(guān)概念及其應(yīng)用08-06
基于虛擬扇區(qū)的Flash存儲(chǔ)管理技術(shù)08-06
多級(jí)存儲(chǔ)技術(shù)在媒體資產(chǎn)管理系統(tǒng)中的應(yīng)用08-06
1394技術(shù)及其在圖像傳輸系統(tǒng)中的應(yīng)用08-06
企業(yè)中的虛擬資本及其管理創(chuàng)新08-16
計(jì)算機(jī)虛擬技術(shù)在遠(yuǎn)程教育中的應(yīng)用08-07