http://www.ithome.com.tw/itadm/article.php?c=42964
備份占空間 刪除重複就有解
| 備份占空間 刪除重複就有解 | ||||||||||||||||
| 文/ 許雅婷 (記者) 2007-04-17 | ||||||||||||||||
| 訴求可將資料壓縮10倍以上的重複資料刪除技術，可節省硬體成本和提升管理效益，儲存廠商也紛紛看好此市場而競相跨入，現階段已有國內企業開始採用。 | ||||||||||||||||
| 備受矚目的重複資料刪除技術於近年內迅速竄起，並受各家儲存廠商青睞，許多廠商在去年紛紛透過併購等方式獲得重複資料刪除技術，並將此技術視為今年的力推重點。 重複資料刪除（Data De-duplication）技術是將資料以演算法切割分段處理，經過比對分析後，將重複的資料剔除，因此可壓縮資料量，且由於重複資料刪除技術是和所 有已經儲存的資料進行比對，所以理論上，隨著時間越長，重複的資料比例也越高，得到的壓縮效果也越好。 在應用方面，重複資料刪除技術除了用於磁碟備份外，遠端複製和歸檔也是主要的應用，但現階段廠商所推出的產品，都是以縮減磁碟備份空間為主要訴求。 國內已有企業採用，壓縮比達9.4倍 一家金融業者在去年第四季便採用重複資料刪除技術產品，以應用在磁碟備份上。此金融業者備份政策為每周進行全備份、每天進行差異備份，從去年12月至今，備份累積的資料量約為1.6TB，但經過壓縮後容量約170GB，壓縮比約 9.4倍。 該企業原本僅用磁帶備份，因此採用磁碟備份後，備份架構也從D2T轉為D2D2T（Disk to Disk to Tape）架構，其線上、近線和離線儲存設備分別為NetApp FAS250、Data Domain DD410和Tandberg Autoloader LTO2，採用備份軟體CA ArcServ 11.5R。 麟瑞科技產品經理楊偉智表示，理論上，隨著資料越多，壓縮比會更高，長期來說，壓縮比可達20倍以上。 然而，一般廠商雖都宣稱壓縮比例平均為10∼50：1，但必須注意的是，壓縮比會受備份政策、資料類型影響，因此究竟可達到多少壓縮率，仍要視不 同情況而定。以備份政策為例，若企業全備份的頻率越高，資料重疊性越多，因此壓縮比也會越高，在資料類型方面，文件、電子郵件比起圖檔、影音檔，則可得到 比較高的壓縮比。 儲存廠商競相跨入，產品今年陸續到位 目前許多廠商已透過自行開發或併購方式進入此市場，包括Data Domain、NetApp都已推出基於重複資料刪除技術的產品，飛康國際（FalconStor）也預計在第二季推出採用該技術的設備，而賽門鐵克 （Symantec）收購DTC、Quantum收購ADIC，以及EMC去年年底買下重複資料刪除技術廠商Avamar後，產品都將於今年陸續到位。 EMC資深產品行銷經理李百飛表示，資訊量的成長速度只會越來越快，而同一份資料會有多份副本，或者被儲存在不同設備上，因此造成儲存空間浪費， 但重複資料刪除技術能有效解決儲存浪費的情況，根據研究機構Taneja Group日前所做的報告也指出，重複資料刪除技術將會是未來3年引領儲存市場變革的重要技術。 楊偉智表示，除了硬體成本的節省之外，採用重複資料刪除技術更大的效益是在於管理的成本，原本可能需要十幾臺甚至數十臺的設備才能承載的容量，經過壓縮後則僅要一臺設備就可解決，不僅管理方便、占用空間少，且硬碟數量少，相對來說損壞的機率也較低。 另一方面，若將重複資料刪除技術用於遠端複製，除了能減少儲存容量外，還能降低網路頻寬的使用，以Symantec的重複資料刪除產品 NetBackup PureDisk來說，便是鎖定遠端複製應用。Symantec技術顧問陳力維表示，有進行異地備份的企業便可能有這樣的需求。 重複資料刪除技術結合VTL，需求有待觀察 值得一提的是，許多廠商也計畫將重複資料刪除技術應用在虛擬磁帶櫃（Virtual Tape Library，VTL）上，目前Data Domain就可提供企業將該儲存系統虛擬成磁帶櫃的方案；飛康國際的SIR，是將軟體整合在一臺專屬硬體設備上，做為自家VTL的延伸方案；EMC除了 將推出單獨做為磁碟備份的方案外，還會推出結合VTL的方案；NetApp也預計在下半年將重複資料刪除技術也應用至該公司的VTL上。 必須注意的是，若要採用重複資料刪除技術，可能會影響到現有作業的效能。NetApp去年年底將重複資料刪除技術內建於FAS3000系列，並於 日前再將此技術應用至FAS6000、NearStor R200產品上。NetApp臺灣系統工程師姜群表示，採用重複資料刪除技術，由於必須進行比對和刪除的作業，因此線上儲存效能會稍有影響，所以這樣的方 案適合以空間為第一優先考量的客戶選用，但他認為目前國內企業的資訊量還不夠大，因此需求尚少。 FalconStor行銷經理張智鴻則表示，由於該公司的SIR是以先備份後刪除的方式進行，因此不會影響作業效能，而先備份後刪除，雖然備份時間差異不大，但還原的速度會加快許多。文☉許雅婷
相關閱讀： 節省10∼20倍儲存空間的重複資料刪除技術 重複資料刪除技術竄起，廠商積極引進臺灣 | ||||||||||||||||
http://www.ithome.com.tw/itadm/article.php?c=38018
節省10∼20倍儲存空間的重複資料刪除技術
| 節省10∼20倍儲存空間的重複資料刪除技術 | ||||
| 文/張明德 (記者) 2006-06-29 | ||||
| 面對日趨膨脹的資料量，無限制的添購硬碟肯定會讓企業難以承受，透過重複資料刪除技術能去除冗餘資料，節省儲存空間，進而降低儲存成本。 | ||||
| 隨著分層儲存（Tiered storage）應用的日漸普及，透過區分資料類型並分別存儲在不同的媒體上，已成為當前企業提高備份效率、降低儲存成本的主要做法。典型的應用就是磁碟 到磁碟再到磁帶（D2D2T）的三層架構，透過中介的低價SATA磁碟，作為前端高速但價昂的FC、SCSI硬碟，以及後端價廉但速度慢的磁帶間的緩衝， 以兼收速度與降低成本的效益。 但業界在實際的D2D2T應用中發現，由於經常性的檢索與快速還原資料的需求，中介緩衝的硬碟容量需求直線升高。在早期的應用中，從線上搬移到中 介緩衝硬碟的資料，一般只會停留一周的時間，很快就會被轉存到後端的磁帶上。但現在的用戶卻經常讓資料存放在中介緩衝硬碟上達數周甚至數月之久，使得中介 緩衝硬碟的容量需求大增。 雖然SATA硬碟的價格不斷降低，但是單位成本仍比磁帶高出許多。面對日趨膨脹的資料量，如果用戶堅持將大量資料存放在硬碟上達數周之久，無限制 的添購硬碟顯然不是現合理的做法，高昂的儲存成本肯定會讓企業難以承受。因此以縮減資料容量、減少磁碟儲存容量需求為的重複資料刪除（Data De-duplication）技術也就應運而生。
重複資料刪除技術的關鍵在於如何透過對掃描磁碟資料，判斷資料是否為「重複」或「冗餘」，各家廠商在實作細節上雖有不同，但原理大致上都是對寫入 硬碟的資料以演算法（例如Hash）切割分段處理，分段的單位可以是區塊（Block）或是區段（Segment），並為每一個分割單位求出一個特徵 值... 繼續閱讀
重複資料刪除技術是一項新興技術，目前這個領域的開路先鋒多半是小型的新創企業，如Asigra、Avamar、Data Domain、與Rocksoft等，大廠方面則有ADIC、Symantec與微軟等。依產品針對的應用範圍不同，可分為純軟體與應用程式伺服器兩 類...... 繼續閱讀 |
透過特殊演算法去除資料中的冗餘
重複資料刪除技術依廠商的不同而有不同的名稱，包括單實例存儲（Single-Instance Storage）、共同性分解（Commonality Factoring）、全域壓縮（Global Compression）、容量最佳化（Capacity Optimization）或資料合併（Data Coalescence）等稱呼，不過目的與原理都是相同的。
重複資料刪除技術的關鍵在於如何透過對掃描磁碟資料，判斷資料是否為「重複」或「冗餘」，各家廠商在實作細節上雖有不同，但原理大致上都是對寫入 硬碟的資料以演算法（例如Hash）切割分段處理，分段的單位可以是區塊（Block）或是區段（Segment），並為每一個分割單位求出一個特徵值， 特徵值是利用演算法得出的一個很小、但是又可以代表此區塊的資料，如同每個人的指紋可以用來代表一個人一樣，也叫做訊息摘要（message digest）或數位指紋等（digital fingerprint）。
所有後續資料在寫入硬碟時也都會先經由演算法的處理，並得出特徵值，接下來系統就可比對硬碟中已有資料的特徵值與新寫入資料的特徵值，若發現特徵 值相同，則系統就會知道硬碟上已有一個相同的副本，這筆新資料即為「重複」，那新資料將只會存入一個指向已有副本位址的指標，而不會重複儲存，只會為這筆 資料留下一個索引，標註指向硬碟上已有的那份副本，而不會實際寫入硬碟。只有特徵值不同的資料才會被實際寫入硬碟。
而這些演算與寫入程序是不對外透通的，就外部的作業系統與應用程式看來，資料的存取仍與平時完全相同，當使用者要讀取那些被判定為重複的資料時，系統就會透過之前建立的索引把資料取出。
也就是說，原來的完整資料經重複資料刪除技術後，被化為許多個完全是唯一（unique）、不重複的資料區塊，以及紀錄原始資料結構與指向的索 引，這個「多個唯一、不重複的資料區塊」加上「紀錄原始資料結構與指向的索引」，對作業系統與應用程式看來是等同於原始的完整資料，只要反向運作就能得回 原來型態的資料。
重複資料刪除技術的三大類型
依處理流程、運作架構以及對原始資料進行分段方式的不同，重複資料刪除技術有以下幾種不同的區分：
1.in-band與out-of-band
依處理流程可分為即時的in-band與非即時的out-of-band兩類。in-band的系統是在資料寫入磁碟之前作重複資料刪除演算與處 理；而out-of-band則是在資料已經寫入磁碟後，再作重複資料刪除演算處理。兩種處理方式的優缺點正好相反，in-band的方式對磁碟存取的效 能影響較大，系統的性能會有所降低。而out-of-band雖不會影響到即時的存取效能，但由於資料一開始寫入磁碟時仍完全未經處理，需佔用與原始資料 相同大小的空間，要等到寫入完畢、經重複資料刪除演算處理後才會縮減容量，因此對磁碟容量的需求較高。所以in-band與out of band也就是一個效能與儲存容量間的選擇。不過為追求容量縮減的效果，絕大多數的產品都是採用in-band的方式作業。
2.前端代理程式與後端專屬硬體
而就架構上而言，重複資料刪除技術有在前端透過代理程式執行，與在後端透過專屬設備執行兩類。前者即是在前端的個人電腦或伺服器上安裝代理程式， 透過代理程式來對個人電腦或伺服器上指定的資料區域進行分割演算與去除冗餘資料的處理，然後再送到遠端伺服器上備份。需要取回資料時再反向運作，重新組回 原始資料的型態，如Avamar、ADIC、Asigra、Symantec等公司都是採用這種做法。採這種方式的多半是純軟體類產品，對系統的需求較 高、部署上比較麻煩，而且代理程式會影響到前端各系統的效能。不過由於資料在前端系統上就已經過重複資料刪除處理，只有新產生的不同資料才會傳往後端，所 以需要的網路頻寬很小。
另一類就是完全不對前端系統作動作，把所有的重複資料刪除演算都放到後端的一臺專屬設備上處理，也就是把這臺專屬設備當作一個儲存裝置，前端的資 料儲存再指向這臺設備，當資料送到這臺設備上準備寫入硬碟時，才由這臺設備進行重複資料刪除處理。顯然的，這種架構把演算處理的負擔丟給後端的專屬設備， 因此對前端系統不會造成任何負荷，不過也由於重複資料刪除處理是在後端，所以前端的資料在從網路送往後端時，仍是以原始的型態與大小傳送，網路負荷相對會 比前一種方式大許多。屬於這類架構的產品有Data Domain的COS系列儲存伺服器產品，以及Diligent的虛擬磁帶櫃等。
另外這種後端處理也有其他的優點，因為所有的資料搬移動作都是透過第三方備份或複製軟體來進行，因此這類產品可以迴避與資料庫間的溝通問題，只要備份軟體能支援資料庫，那這類產品也能用於資料庫備份，不像代理程式類產品必需考慮與資料庫間的驗證問題。
3.資料分段切割方式與大小
目前重複資料刪除技術的演算法在切割資料、進行分段求解特徵時的做法有兩類，一類是以區塊（Block）為單位來切割，如Avamar的 Axion是將資料切為平均12KB大小的區塊，再分別為每個區塊計算並分派1個20byte的特徵值（或是稱為固定位址）。另一類則是以區段 （Segment）為基礎，如Data Domain的COS是將資料以Byte為單位為分解成4∼16KB的區段（平均8KB），再進行處理。
系統是採用區塊還是區段等級的處理沒有一定的好壞，不過資料分割的片段大小會有比較大的影響。同樣大小的資料若切成較小的片段，意味著系統需要產 生並存放更多的特徵值以及索引，將會延緩備份的時間；但若切成較小的片段，則系統也能對資料內容進行更精細的比對，通常可以得到更高的壓縮比率。目前多數 產品的分段大小都是可調的，系統會嘗試以多種分段大小來切割資料，以求得到更好的資料冗餘判斷結果。
節省儲存空間，進而節省成本
依廠商的宣稱，原始資料經過重複資料刪除技術的處理後，可得到高達10：1到50：1的資料壓縮率，某些情況下還會有更高的比率。由於重複資料刪 除技術的分析比對是對所有已儲存資料與新產生資料持續進行的，除非該環境的資料差異性非常大，否則隨著時間的延長，執行資料分段比對與冗餘處理的次數越 多，則得到的壓縮效果也就會越高，當然實際的壓縮效果需視資料型態而定。
雖然重複資料刪除技術宣稱能透過降低硬碟空間進而節省儲存費用，但這項技術本身也需要一定的成本才能取得（而且還不便宜），因此只有儲存容量需求 超過一定限度，這項技術節省的容量花費抵消其本身的費用後，整體的成本降低效果才能顯現。依表1的估計，假設提供的「可用」儲存空間均相同時，只要重複資 料刪除技術的壓縮比達到10：1，就能降低25∼50%的單位儲存成本；若壓縮比為15：1，則單位儲存成本就能比不使用時降低1倍以上；如果達到20： 1以上的壓縮比，則重複資料刪除技術所需的單位成本就能降低到甚至比磁帶還低的程度，此時改用硬碟來取代磁帶來作為資料的最終儲存媒體，就會有相當的競爭 力。
然而不管是哪一類型的技術，由於系統在每次寫入資料時，都要對所有的資料進行分段演算與特徵值校驗，無論這個演算是在前端機器、還是再後端專屬設 備上執行，就整個系統的存取效能來說還是會造成負面的影響，一定還是會比直接寫入磁碟的方式慢上許多。因此只適用於較不要求效能的近線儲存，如VTL、固 定內容儲存等應用，而不適用於即時儲存環境。文☉張明德
備份緩衝與歸檔是主流應用 |
| 如內文所述，由於重複資料刪除技術會影響系統的存取效能，因此不適於對性能要求較高的線上即時儲存環境，但對作為中介緩衝的近線儲存、郵件、檔案歸檔等應用來說，就能充分發揮其節省容量的好處，而又不會暴露出減損存取效能的缺點。目前主要的應用範圍有以下三方面： 備份緩衝磁碟、近線儲存與虛擬磁帶櫃（VTL） 遠端備份儲存 郵件歸檔與固定內容儲存 |
小型新創企業領導重複資料刪除技術
重複資料刪除技術是一項新興技術，目前這個領域的領導廠商多半是些小型的新創企業，如Asigra、Avamar、Data Domain、與Rocksoft等，大廠方面則有ADIC、Symantec與微軟等。依產品針對的應用範圍不同，可分為純軟體與應用程式伺服器兩類：
使用彈性大的純軟體產品
純軟體類產品的運用方式主要是在備份方面，如Asigra與Avamar都是將重復刪除技術整合在其Televaulting與Axion備份軟體中，而 Symantec去年併購DTC取得重復資料刪除技術後推出的NetBackup 6.0 PureDisk也是鎖定在遠端備份。
比較特別的是微軟在剛推出的Windows Storage Server 2003 R2上也新增了單實例儲存功能，不過WSS R2不直接提供給終端用戶，而是搭配儲存廠商的硬體一起銷售。
應用伺服器產品便於部署
應用伺服器類的產品以Data Domain最為典型，Data Domain是將其產品包裝為儲存伺服器或閘道器，使用時只要在備份軟體下將儲存目標指向Data Domain的伺服器即可。另外Diligent去年推出的ProtectTier系列、以及ADIC的PathLight VX VTL也採用類似的架構，這些產品都是包裝成VTL伺服器，只要接上儲存網路即可提供重覆資料刪除服務。比較特別的是Sepaton同時有 DeltaStor獨立軟體以及與VTL伺服器結合的S2100-ES2應用伺服器，針對的是高階的企業用戶。
不過，業界並非一致看好重複資料刪除技術，隨著垂直寫錄技術的採用，新一代的硬碟在單位儲存密度與成本方面將有持續的突破，連帶也會影響到企業採 用重複資料刪除技術的意願。另外對EMC、IBM、HP這類同時擁有軟、硬體產品線的儲存大廠來說，由於重複資料刪除技術將促使客戶減少在儲存容量方面的 投資，顯然會影響到其硬體產品方面的銷售，因此對投入這個領域將會存在相當疑慮，實際上目前這個領域的廠商也多為不需背負硬體銷售包袱的廠商為主。文☉張 明德
http://www.ithome.com.tw/itadm/article.php?c=39314
| 重複資料刪除技術竄起，廠商積極引進臺灣 |
| 文/許雅婷 (記者) 2006-09-08 |
| 重複資料刪除技術主要是將資料以演算法切割分段處理，經過比對分析後，將重複的資料剔除，因此可壓縮資料量，廠商宣稱，資料壓縮率可高達10：1。 |
| 隨著資料量不斷激增，資料所占據的空間也越來越大，而企業也必須添購更多的儲存容量，因此，重複資料刪除技術（Data De-duplication）便因蘊而生，標榜藉由剔除重複性資料，以達到節省空間的效益。 目前許多廠商已經紛紛在產品中導入重複資料刪除技術（不同廠商所制定的名稱則不盡相同），並在國外推出採用該技術的產品，而近一年內，廠商也積極將產品推到臺灣市場。 Data Domain在去年年底開始將COS（Capacity Optimized Storage）系列儲存伺服器引進臺灣，並在今年新增代理商麟瑞科技，年底則預計會推出新版作業系統和設備。賽門鐵克（Symantec）去年併購 DTC取得重複資料刪除技術，隨後推出NetBackup 6.0 PureDisk軟體，並計畫在今年第4季引進臺灣；飛康國際（FalconStor）在稍早前發表一款基於該技術的Single Instance Repository（SIR）軟體，也預計第4季時會在臺正式發表。 重複資料刪除技術主要是將資料以演算法切割分段處理，經過比對分析後，將重複的資料剔除，因此可壓縮資料量，而且由於重複資料刪除技術是和所有已 經儲存的資料進行比對，所以理論上，隨著時間越長，重複的資料比例也越高，得到的壓縮效果也越好。廠商宣稱，資料壓縮率可高達10：1，長期而言，更可能 達50：1，不過實際上仍要看資料本身的類型而定。 在應用方面，主要有磁碟備份、虛擬磁帶櫃（Virtual Tape Library ;VTL）、遠端備份和歸檔等，而隨著應用不同，各家廠商鎖定的族群和作法也不同，有些是以純軟體銷售，有些則將軟體整合在硬體設備上。 以Data Domain的COS儲存伺服器而言，便是鎖定在D2D2T（Disk-to-Disk-to-Tape）架構下的磁碟備份應用。Data Domain高級系統工程師盧廷偉表示，企業若要增加一層磁碟備份設備，往往會將資料存放一段時間後再做刪除，時間可能達數周或數月，因此所需的空間量就 會大幅提升。若是藉由重複資料刪除技術，企業就可添購較少容量的設備，不僅可節硬碟成本，也可帶動企業增加磁碟備份的意願。此外，COS儲存伺服器也在今 年開始增加對虛擬磁帶櫃的支援。 FalconStor的SIR與Data Domain的做法則類似，是將軟體整合在一臺專屬硬體設備上，並能與自家的虛擬磁帶櫃整合。FalconStor表示，由於SIR和VTL為獨立的設 備，因此不會有降低效能的疑慮，此外，SIR內含重複資料刪除（RDE）引擎，讓使用者可從設備上快速復原檔案，另外，也適用在遠端備援的應用上。 有別於Data Domain和FalconStor，Symantec的重複資料刪除產品則是鎖定遠端備份應用。臺灣賽門鐵克技術顧問經理李松濱表示，企業資料量越大，使用重複資料刪除技術可呈現的效益越高，因此Symantec主要會鎖定大型企業用戶。 李松濱進一步表示，將重複資料刪除技術用於遠端備份，除了減少儲存容量外，由於是將資料壓縮後再傳送，因此也能降低網路頻寬的使用。 此外，惠普的歸檔產品RISS中，也有導入重複資料刪除技術，除了提供郵件歸檔外，也在最新1.5版本中納入對資料庫和檔案的支援。其他廠商包括ADIC、Diligent、Sepaton等也有推出該技術的產品。 臺灣惠普企業系統事業群網路儲存解決方案事業處儲存方案產品經理蕭舜華表示，以電子郵件為例，相同的郵件可能會存放在不同的檔案夾中，因此同樣的郵件就會有好幾份，所以會耗損許多空間，若能透過重複資料刪除技術，就能讓容量更有效使用。文☉許雅婷 |
--
萬歲！您的郵件已被捨棄。一封垃圾郵件也沒有！
--
萬歲！您的郵件已被捨棄。一封垃圾郵件也沒有！
沒有留言:
張貼留言