作者 | Renato Losio

譯者 | 王強(qiáng)

策劃 | Tina

谷歌最近為其在 Google Cloud 上的分布式 SQL 數(shù)據(jù)庫 Spanner 引入 了分層存儲(chǔ)。這種分層存儲(chǔ)架構(gòu)包含一種新的 HDD 存儲(chǔ)選項(xiàng)，比現(xiàn)有的 SSD 選項(xiàng)便宜 80%，可降低舊數(shù)據(jù)的存儲(chǔ)成本，同時(shí)盡可能減少與傳統(tǒng)數(shù)據(jù)遷移相關(guān)的開銷。

該架構(gòu)中，默認(rèn)的 SSD 層是為需要高吞吐量和低延遲的數(shù)據(jù)而設(shè)計(jì)的，新的 HDD 層則是為不經(jīng)常訪問或?qū)ρ舆t不敏感的較大數(shù)據(jù)集而設(shè)計(jì)的。存儲(chǔ)分層 架構(gòu)由策略驅(qū)動(dòng)：作為維護(hù)任務(wù)的一部分，異步后臺(tái)進(jìn)程會(huì)根據(jù)用戶定義的策略自動(dòng)將數(shù)據(jù)從 SSD 移動(dòng)到 HDD。無論數(shù)據(jù)在哪個(gè)存儲(chǔ)層，SQL 查詢都可以訪問 SSD 和 HDD 層上的數(shù)據(jù)，并且備份策略在所有數(shù)據(jù)上一致應(yīng)用。

谷歌團(tuán)隊(duì)強(qiáng)調(diào)，對(duì)于大多數(shù)數(shù)據(jù)庫記錄而言，數(shù)據(jù)的運(yùn)營價(jià)值會(huì)隨著時(shí)間的推移而降低，而其報(bào)告和合規(guī)性作用則會(huì)增強(qiáng)。這種轉(zhuǎn)變意味著舊的“冷”數(shù)據(jù)不需要像當(dāng)前的“熱”事務(wù)數(shù)據(jù)那樣具有高性能訪問能力，從而鼓勵(lì)公司尋求更具成本效益的歷史信息存儲(chǔ)解決方案。

來源：Google Cloud 博客

谷歌軟件工程師 Matthew Muckloo 和谷歌集團(tuán)產(chǎn)品經(jīng)理 Piyush Mathur 寫道： 遷移到其他類型的存儲(chǔ)通常需要復(fù)雜的數(shù)據(jù)管道，并且會(huì)影響操作系統(tǒng)的性能。手動(dòng)在存儲(chǔ)解決方案之間分離數(shù)據(jù)可能會(huì)導(dǎo)致讀取不一致，需要應(yīng)用程序級(jí)的協(xié)調(diào)。此外，這種分離對(duì)應(yīng)用程序查詢當(dāng)前和歷史數(shù)據(jù)（例如響應(yīng)監(jiān)管機(jī)構(gòu)）的操作施加了重大限制；它還增加了需要審計(jì)的治理接觸點(diǎn)。

現(xiàn)在用戶可以在各種 Spanner 級(jí)別（數(shù)據(jù)庫、表、列或二級(jí)索引）實(shí)施存儲(chǔ)分層策略，并可以靈活地將特定數(shù)據(jù)移動(dòng)到速度較慢但成本較低的 HDD 存儲(chǔ)。例如，很少訪問的數(shù)據(jù)（如 JSON 產(chǎn)品屬性）可以移動(dòng)到 HDD，而無需重構(gòu)表，并且可以將索引保留在更快的 SSD 上，同時(shí)將實(shí)際數(shù)據(jù)存儲(chǔ)在 HDD 上。

要啟用分層存儲(chǔ)，必須創(chuàng)建一個(gè)定義存儲(chǔ)選項(xiàng) [SSD（默認(rèn)）/HDD] 的位置組，并可以選擇定義 ssd_to_hdd_spill_timespan 來指定在壓縮周期將數(shù)據(jù)移動(dòng)到 HDD 之前應(yīng)在 SSD 上保留數(shù)據(jù)的時(shí)間。例如：

CREATE LOCALITY GROUP recent_on_ssd OPTIONS (storage = 'ssd', ssd_to_hdd_spill_timespan = '15d');

創(chuàng)建 SSD 到 HDD 溢出策略。在移動(dòng)數(shù)據(jù)之前，數(shù)據(jù)必須在 SSD 中存儲(chǔ)至少 1 小時(shí)。

Google Spanner 不是唯一提供分層存儲(chǔ)的分布式云數(shù)據(jù)庫。Amazon DynamoDB 隱藏了所使用的存儲(chǔ)技術(shù)，提供具有不同存儲(chǔ)和檢索費(fèi)用的標(biāo)準(zhǔn)和標(biāo)準(zhǔn) IA 存儲(chǔ)類別。

Spanner 的分層存儲(chǔ)支持 GoogleSQL 和 PostgreSQL 方言，并且在所有提供 Spanner 的 Google Cloud 區(qū)域中都可用。可以從 System Insights 監(jiān)控 HDD 使用情況。

Google Cloud Introduces HDD Tier for Spanner Database, Cutting Cold Storage Costs by 80%(https://www.infoq.com/news/2025/03/google-spanner-tiered-storage/)

聲明：本文為 InfoQ 翻譯，未經(jīng)許可禁止轉(zhuǎn)載。