存儲

河北十一选五开奖历史号码:分層存儲超詳細解讀,為什么大數據時代它已不可或缺

廣告
廣告

微信掃一掃,分享到朋友圈

分層存儲超詳細解讀,為什么大數據時代它已不可或缺
0 0

如今,分層存儲已成為了一種常見的存儲方法,它將數據存儲在具有不同特性(如性能、成本和容量)的不同存儲介質上。不同的存儲媒介被分配到不同的層次結構中,其中最高性能的存儲媒介被認為是第0層或第1層,然后是第2層、第3層等等。

0層或1層通常是由閃存或基于3D Xpoint技術的固態硬盤(SSD)組成,以此往下的存儲層可能涉及高性能光纖通道或SAS驅動器(或RAID陣列),較低性能的SATA驅動器、光盤、磁帶存儲系統和基于云的近線(nearline)或離線存儲系統。

在SSD和云存儲普及之前,使用磁盤和磁帶來提供第1層、第2層和第3層存儲的3層存儲模型可能是最流行的分層存儲模型。

但是現在使用包含5個或更多級別的分層存儲模型也并不少見了。每一個層都有細微的差別,從而產生三個關鍵存儲屬性的不同組合:成本、性能和容量。

分層存儲的目標

如果費用不成問題,企業就可以使用SSD滿足所有存儲需求,因為它們提供了非常高的性能和可靠性。

但是在現實中,存儲成本是非常重要的,因為IT部門需要保證在預算范圍內運行,而組織作為一個整體必然要尋求最小化成本和最大化效率。不幸的是,與硬盤驅動器相比,SSD存儲更貴,而且比磁帶存儲貴得多。

這代表我們需要明智地使用SSD,并且只用于存儲需要高性能系統使用的數據。不太重要的數據可以存儲在更低的成本、更低的性能系統(如HDD)上,很少訪問或僅為合規性目的保留的數據可以轉移到成本非常低的離線存儲系統

因此,分層存儲并不是由IT部門的運營需求驅動的,而純粹是出于財務原因。分層存儲系統的目標是通過使用提供最低性能要求的最便宜的存儲來最小化存儲成本。

分層存儲是如何工作的?

只有兩個存儲層的分層存儲系統為存儲管理員提供了一個非常有限的選擇,即給定數據應該存儲在什么地方。如果第2層可以提供這些數據所需要的存儲性能,那么可以將其存儲在第2層,如果沒有,就將其存儲在更昂貴的第1層。

分級存儲系統有三個層可能會更有效率,因為相同的數據可以存儲在第3層如果性能水平足夠的話,如果不是那么它可以存儲在第2層,再然后是更昂貴的第1層,也就是說有了更多的選擇。

實際上,可用的存儲層越多,數據塊就可以更有效地存儲在滿足其性能需求的適當存儲層中,而不是以不必要的高成本提供不必要的高性能??梢允褂彌釗绱唇≧AID陣列的技術,用一組不同類型的存儲媒介創建新的層。

分層存儲系統面臨的最大挑戰是將數據分類為多個類,這需要確定哪個存儲層最適合給定的數據類型,并在數據老化時定期對數據進行重新分類。

這里的關鍵是,任何給定的數據存儲需求可能隨時間變化,因此數據存儲在分層存儲系統中時,數據必須被長期監控,一旦它不再需要當前的高性能,就可以轉移到較低成本的存儲層。

典型的分層存儲數據類型包括:

關鍵業務數據。這類數據總是需要存儲在最高層的存儲中,因為它需要支持高速應用程序——可能支持客戶事務。訪問數據的延遲可能會導致組織失去某些業務,或對盈利能力產生負面影響。對于此類數據來說,性能是最重要的。

熱數據。這類數據需要較高級別的分層存儲,因為它經常用于CRM、ERP甚至電子郵件等應用,并且需要用于企業的日常運行。在此類存儲層中,性能很重要,但是成本也是一個考慮因素。

溫數據。此類包括較早的數據,如超過幾天的電子郵件或已完成事務的數據。這類數據的訪問頻率相對較低,但仍然要保證在需要時可以訪問。在這個存儲層中,最重要的考慮因素是成本,但是受制于最低的性能閾值。

冷數據。這類數據可能永遠不會再被訪問,但需要將其存檔并保留,以符合監管或其他法律要求,或者只是因為它可能在未來某個不確定的時間具有某種價值——可能用于大數據分析。理想情況下,冷數據適合于可接受分鐘或小時訪問時間的最低層次的分層存儲,而低成本是最重要的考慮因素。

顯然,手動的存儲分層方法可能過于耗時和繁瑣,難以成功。因此,大多數分層存儲系統依賴于使用層管理系統的自動分層,層管理系統在整個生命周期中監視數據,并在數據冷卻時自動將其向下移動。

此軟件可能與單個存儲系統一起提供并在其上運行,也可能是一個獨立的解決方案,它可以直接跨組織的存儲基礎設施工作,在某些情況下還可以通過云存儲網關進入云。

分層存儲等級

在一些已經使用存儲分層一段時間的組織中,可能會將新的、比現有的第1層更快的存儲層視為第0層。但就本文而言,第1層被假定為性能最高的存儲層。

第1層

此存儲層用于存儲高度易失性和時間敏感的數據,這些數據需要在盡可能短的時間內可用。通常用于金融交易環境或其他業務領域,在這些領域中,可能在幾分之一秒內生成或丟失比存儲成本大得多的資金,存儲速度需要盡可能快。因此,不管總體存儲效率如何,通常都需要為實現最高性能配置非??斕墓燙媧⒔櫓世創罱ǖ?層存儲。

第2層

此存儲層用于存儲事務性數據,以支持高性能應用程序、面向客戶的系統(如零售應用程序)和其他系統,在這些系統中,只能接受極短的延遲。由于所需的性能級別不像1層那么高,因此通常使用更低的成本和更高效的固態存儲系統來提供2層存儲解決方案。

第3層

第3層用于存儲“熱”數據,如CRM和ERP數據,甚至是最近的電子郵件,這些數據需要頻繁訪問,不能出現不必要的延遲。這意味著它需要存儲在如中到高性能硬盤驅動器的介質上,與固態存儲介質相比,這些介質的成本相對較低。在許多組織中,第3層的數據要比第2層或第1層的數據多得多,所以高容量的硬盤驅動器提供了一個理想的解決方案,它提供了低成本的每GB存儲空間。

第4層

這個存儲層用于“溫”數據,比如最近完成的事務的數據、幾天前的電子郵件以及其他不經常訪問的數據。它還可以用來存儲可能用于業務信息和數據可視化系統的數據,或者用于創建月度、季度或年度報告所需的財務數據。但是無論何時需要,都需要相對快速的訪問。第4層存儲需求可能非常大,由于成本是主要考慮因素,因此第4層存儲的典型解決方案是大容量硬盤驅動器存儲。與配置用于性能需求的高性能SAS磁盤或RAID陣列不同,第4層存儲更可能使用低成本、相對低性能的SATA驅動器。

第5層

最低的存儲層通常用于存檔可能永遠不會再次訪問的“冷”數據,但仍然有一些價值(可能將來用于數據挖掘),因此值得保留。它還用于存儲必須為合規性目的而保留的數據,這些數據只需要在幾天或幾周內訪問,而不需要在幾分鐘或幾秒內訪問。

光介質或磁帶存儲系統通常用于這一存儲層,它們的存儲成本很低,但性能很差。在過去的幾年里,基于云的存儲已經成為常見的選擇,企業可以將大量的數據以低成本的方式存儲,或者在需要的時候在幾小時內相對容易地獲取數據。

分層存儲的主要優勢

分層存儲帶來了許多好處,其中最重要的是:

  ·降低存儲成本:通過將每個數據類存儲在成本最低的存儲系統上,并提供其所需的最低性能,企業可以避免為不需要的高性能買單。存儲成本的降低是采用分層存儲系統的主要原因。

  ·更高的存儲效率:依賴RAID陣列的存儲系統的效率很低,因為可以存儲在這些系統上的數據量比提供的總存儲容量要少——甚至在某些情況下要少得多。由于分層存儲系統可以緩解RAID的需求(通過將不需要如此高性能的數據轉移到較低的存儲層),因此存儲效率將會提高。

  ·能夠重用舊的存儲設備: 分層存儲可以為舊的存儲系統帶來新的生命,它們可以用于較低的存儲層,否則這些系統可能會因為無法為上層數據提供足夠的性能而被廢棄。

我還沒有學會寫個人說明!

為什么說Kubernetes的崛起預示著云原生時代到來?

上一篇

揭秘青云QingCloud第二代云主機性能提升4倍的背后

下一篇

你也可能喜歡

分層存儲超詳細解讀,為什么大數據時代它已不可或缺

長按儲存圖像,分享給朋友

ITPUB 每周精要將以郵件的形式發放至您的郵箱


微信掃一掃

微信掃一掃