Amazon S3 Tables 現提供 Apache Hive 表格至 Apache Iceberg 的托管遷移功能

AWS 推出 S3 Tables 托管遷移功能

AWS 正式宣布 Amazon S3 Tables 新增托管遷移能力，為資料湖現代化提供一條簡單且具成本效益的路徑。企業現在可以把註冊在 AWS Glue Data Catalog 中的 Apache Hive Parquet 表格，直接轉換為 Apache Iceberg 格式。使用者不必編寫遷移管線，也不必預置計算資源，就能完成資料格式升級。遷移期間，生產環境的工作負載可持續運行，只有在切換階段會有短暫中斷。

解決舊有遷移痛點與技術優勢

過去，要把 Apache Hive 表格遷移到 Apache Iceberg，工程師往往得花數週時間建立和管理所需的基礎設施。這個過程要處理資料類型轉換，還要建置回滾機制，營運複雜度很高。現在，AWS 把這套流程改成由 API 驅動的托管操作。S3 Tables 負責整個遷移工作流，包含資料驗證、相容性檢查、類型轉換、檔案重新壓縮以及壓縮（compaction）。在複製任何資料之前，系統會先識別範圍內的每個來源物件，並生成相容性報告。

Apache Iceberg 已成為大型分析資料集的開放標準，支援模式演進、隱藏分區及時間旅行查詢等功能，資料維持開放，可透過任何相容引擎查詢。Amazon S3 Tables 則提供專為 Iceberg 表格設計的完全托管儲存，內建自動維護、最佳化、複製及 S3 Intelligent-Tiering 等功能，讓表格在成長過程中維持效能與成本效益。

遷移流程與成本結構

操作上，使用者可在 S3 主控台選擇目的地表格儲存桶，再透過「Create table from migration」建立命名空間與表格名稱。目的地表格採用預設推薦設定，以最佳化查詢效能與儲存效率。遷移啟動後，S3 Tables 會驗證來源表格並開始複製資料，這段期間目的地表格僅供讀取。遷移完成後，表格會升級為讀寫模式。

與自行管理相比，S3 Tables 的托管遷移更具成本效益。使用者只需支付複製資料的費用，Hive 至 Iceberg 的轉換過程不另外收費。此外，若來源物件位於 S3 Intelligent-Tiering，其目前的存取層級維持不變。使用者可透過直接整合的 Amazon Athena 與 Amazon SageMaker Unified Studio 立即使用新資料，也可以用任何相容 Apache Iceberg REST API 的工具查詢。

支援 API 與 Agent Toolkit

偏好程式化操作的使用者，可以使用 AWS CLI、AWS SDKs 以及 Agent Toolkit for AWS。例如，可透過 `start-table-migration` 命令設定遷移作業，並在 JSON 配置中指定角色 ARN、目的地表格設定（包含加密、儲存類別、標籤、屬性及結構描述）以及來源 Glue 表格資訊。配置中也能定義維護設定，如 Iceberg 壓縮目標檔案大小與快照管理策略，以及處理不相容欄位或值的遷移政策。

若要讓目的地表格與來源表格的變更保持同步，可多次呼叫 `sync-table-migration`，每次只複製變更的部分。使用 Kiro 等程式碼代理工具的使用者，則可利用 Agent Toolkit for AWS 提供的 `migrating-hive-tables-to-s3-tables` 技能取得逐步指導。這項技能能分析現有 IAM 政策、驗證遷移計畫、執行 API 呼叫並監控作業進度。

現行可用區域與限制

Amazon S3 Tables 托管遷移功能現已在美國東部（維吉尼亞、俄亥俄）、美國西部（俄勒岡）、亞太地區（孟買、新加坡、雪梨、東京）及歐洲（法蘭克福、愛爾蘭、斯德哥爾摩）等區域正式提供。初始發布階段，此功能僅支援同一 AWS 帳戶、同一 AWS 區域內，以 Parquet 格式儲存且註冊於 AWS Glue 的 Hive 表格。使用者可透過 Amazon S3 主控台試用，並透過 AWS re:Post 或 AWS Support 提供回饋。