百度智慧雲：釋放“傲騰上雲”紅利 重新定義歸檔存儲服務

　　“申耀的科技觀察”近期發表了標題為《【觀察】百度智慧雲：釋放“傲騰上雲”紅利，重新定義歸檔存儲服務》的文章，原文如下：

　　在數字經濟時代，海量的數據成為數字經濟的重要生産要素，特別是受今年疫情的影響，線下的生産和生活迅速地轉移到了線上，相應的數據也再次迎來了新一波快速增長。

　　對於百度智慧雲這樣的雲服務商來説，海量的數據既是資産也是壓力，尤其是大量冷數據的産生讓存儲分層變得“迫在眉睫”。在此背景下，磁帶庫因性價比較高且能夠快速寫入，成為了百度智慧雲快速存檔冷數據的理想之選。

　　但在實際應用中，百度智慧雲發現磁帶庫雖然可以快速寫入數據，但數據首先需要在緩存盤上進行序列化，這就需要一款快速的緩存盤作為載體化解這一難題。基於此，百度智慧雲創新的引入了英特爾傲騰固態盤，借助其速度和耐用性兼備的特性，不僅大大提升了磁帶庫備份的速度，也滿足了歸檔存儲應用中繁重的讀/寫混合型工作負載的要求。

　　毫無疑問，百度智慧雲與英特爾的成功合作，不僅為數據歸檔和備份的優化和升級提供了重要的參考和借鑒方向，也讓更多的行業和用戶享受到了雲存儲服務所帶來的好處，真正實現了冷數據在更長久週期內的可用性、可回溯性和可審計性。

　　冷數據帶來的挑戰

　　今天，海量數據的增長正在成為一種“新常態”，而保存和管理這些海量數據也變得日益困難，特別是把所有數據保存在同一個存儲介質中更是不切實際的。

　　因此，業內通常的做法是，將數據根據類型的不同劃分為三個分層，即熱數據、溫數據和冷數據。其中，最“冷”的數據十分適合存儲到磁帶庫這種價格便宜的長期存儲介質之中。

　　得益於光纖通道和串列連接 SCSI(SAS)等技術的發展，如今磁帶庫的順序讀寫性能也得以不斷提升。然而，磁帶庫本身的寫入速度雖快，但是基於磁帶庫的備份架構卻存在一個常常會妨礙數據以其最大速率寫入磁帶庫的技術障礙。

　　具體來説，在將數據備份到磁帶庫上之前，首先需要將數據收集到緩存層的數據節點上，以便為寫入磁帶介質做準備(進行序列化)。對於此類數據節點中的SAS RAID緩存層磁片，其讀取和寫入操作通常無法達到讓磁帶庫管道飽和的速度，進而導致出現備份速度緩慢等挑戰，無法發揮磁帶庫的高速潛能。

　　百度智慧雲舊備份架構中緩存盤面臨的挑戰

　　以百度智慧雲此前使用的機械硬碟(HDD)為例，其讀取速度僅為200 MB/s，不但難以滿足磁帶庫寫入速度為每秒600 MB/s的要求，還把磁帶庫的備份速度降低了三分之二，使得大量數據存儲歸檔和備份工作變得效率低下。

　　例如，通過安裝在車隊 300 輛車上的物聯網(IoT)感測器，百度的自動駕駛汽車解決方案生成了大量數據，且已記錄超過200萬公里，這些物聯網數據大部分被歸類為“冷”數據，並通過數據節點發送到磁帶上以進行長期存儲，但由於緩存層磁片速度較慢，使得這個工作變得十分的緩慢。

　　再如，百度的數據保留政策要求每3-6年就要將存儲在磁帶庫上的數據轉移至新磁帶庫，這就需要使用緩存盤，而這種超負荷的緩存工作負載(不斷寫入和讀取越來越多的存檔數據)，同樣也暴露出系統的低效率問題。

　　由此可見，快速的磁帶庫離不開快速緩存盤，緩存盤的性能之於數據備份速度的重要性不言而喻。為了打破緩存層磁片帶來的“瓶頸”，百度智慧雲希望通過尋找到一種更好的緩存驅動替代方案，以進一步提升磁帶庫備份的速度。

　　緩存盤選型的難題

　　根據自身的實際業務情況，百度智慧雲團隊在考慮其緩存驅動的替代方案時，提出了以下數據層要求：

　　一是，讀取速度要求方面，希望在寫入壓力很大的情況下，替代的緩存盤也需具備600 MB/s的讀取性能，以匹配磁帶庫600 MB/s的寫入速度。

　　二是，寫速度要求方面，為了保持磁帶寫入速度飽和以提高成本效益，磁片將新數據寫入緩存盤的速度應至少與緩存數據寫入磁帶的速度相等，即600 MB/s。

　　三是，耐用性要求方面，磁帶庫的存儲容量為16PB，而百度智慧雲團隊希望緩存盤能夠持續服務三代磁帶，為了實現此目標，緩存盤需支持總寫入量為48 PBW (硬碟理論壽命所對應的總寫入數據量)的耐用性。

　　為此，百度智慧雲團隊首先研究了使用基於NAND的SSD替代數據節點上基於HDD的緩存盤。但是研究顯示，基於NAND的SSD的局限在於，隨機寫入操作需要大量的後臺介質管理，這會大大降低每個磁片的吞吐量並縮短磁片壽命。

　　在此基礎上，百度的團隊又評估多個 NAND 驅動器的兩種配置，包括16盤 RAID0 的標準耐用性配置，以及6盤 RAID0+1的中等耐用性配置，雖然這兩種配置方案都能滿足600 MB/s的讀取和寫入要求，但卻需要過多的NVMe插槽才能達到所需的吞吐率，這將使得維護工作變得更加複雜。

　　此外，根據設備規格進行的計算還表明，這兩種配置方案也都不能滿足耐用性要求，其PBW分別為30.72和36.75，顯然和百度智慧雲所確定的48 PBW目標“相距甚遠”。

　　不難看出，無論是傳統的HDD還是基於NAND的SSD，都難以滿足百度智慧雲希望實現的性能和耐用性要求，通過多方的對比，最終百度智慧雲團隊將目標鎖定在了英特爾傲騰固態盤上。

　　速度和耐用性兼備

　　測試顯示，百度智慧雲通過採用英特爾傲騰固態盤作為數據節點上的緩存盤，該解決方案可在600 MB/s (隨機)寫入工作負載下，實現 600 MB/s 的讀取性能。與基於 NAND 的固態盤不同，英特爾傲騰固態盤的優勢還在於，無論其寫入壓力如何，都能保持讀取響應時間不變。

　　將英特爾傲騰固態盤的鏡像用作緩存盤，滿足了百度的備份解決方案要求。

　　不僅如此，英特爾傲騰固態盤的高耐用性(164 PBW 和每日整盤寫入次數為 60 DWPD)，遠遠超出了48 PBW的耐用性要求，通過這一全新解決方案，百度可以在相同時間內備份三倍的數據量。

　　可以看到，借助英特爾傲騰固態盤，百度智慧雲不僅實現了出色耐用性的同時，也滿足繁重的讀/寫混合型工作負載頻寬要求，而通過此解決方案，百度現在備份相同數據量所需的時間比之前的解決方案減少了67%。

　　對此，百度智慧雲相關人士表示：“英特爾傲騰固態盤憑藉其高頻寬、高耐用性、低延遲和易於維護的優勢，為百度帶來了高價值，並幫助我們加快創新磁帶庫解決方案，同時降低成本、提高效率。”

　　值得一提的是，百度智慧雲還進一步發揮其産品及技術優勢，將英特爾傲騰方案推上雲端，以智慧雲虛擬化塊存儲 CDS、雲原生數據庫 GaiaDB 等産品為出口，打造雲上多樣解決方案。而傲騰方案在較大的寫入壓力下依然能保持數據的快速響應及高性能讀寫，讓百度智慧雲為客戶提供超低成本及便攜的數據管理能力，輸出持續先進的雲服務，豐富雲端存儲産品和體驗打下了堅實的基礎。

　　總的來看，今天數據的生命週期正變得越來越長，特別是過去幾年國家出臺了信息安全和個人隱私的相關法律，而被合規、數據保護等痛點困擾的企業也不在少數;再加上企業對數據越來越重視，特別是某些關鍵領域的企業甚至要求生産環境下的數據，需要有五年、十年，甚至數個十年的保存，由此也讓數據歸檔變得更加重要。

　　目前，類似的需求在視頻監控、生命科學、金融服務、媒體和娛樂、政府、醫療等行業特別明顯。所以，未來如何保障數據在更長久週期內的可用性、可回溯性、可審計性，無疑今天用戶最為關注的話題。

　　而在此過程中，百度智慧雲通過將英特爾傲騰固態盤作為緩存數據提升磁帶庫備份速度，不僅破解了海量數據增長帶來的歸檔和備份的壓力，也為眾多用戶提供了更為豐富的産品體驗。