AWSがS3 TablesにHiveからIcebergへのマネージド移行を追加：開始時の対象はGlue登録のParquetテーブルで同一アカウント・同一リージョン、10リージョン、完了まで移行先は読み取り専用

2026年11月4日、AWSはAmazon S3 TablesでApache HiveテーブルをApache Icebergへマネージドで移行できるようになったと発表しました。What's Newの投稿とAWS News Blogのローンチ記事は、これをAPI駆動の操作として説明しています。S3 Tablesが移行元の検証、データ型の変換、データのコピー、再圧縮、小さなファイルの統合を行い、その間も本番のワークロードは動き続けます。AWSは、HiveからIcebergへの移行はテーブルごとに専用の移行パイプラインが必要で、以前は数週間のエンジニアリングを要したと述べています。この期間はAWSの説明で、投稿に測定値はありません。

開始時点の範囲は狭く、最初に読むべき点です。現時点では、AWS Glueに登録され、Parquet形式で保存されたHiveテーブルで、同じAWSアカウント・同じリージョン内のものが対象です。利用できるのは10のリージョンです。米国東部(バージニア北部、オハイオ)、米国西部(オレゴン)、アジアパシフィック(ムンバイ、シンガポール、シドニー、東京)、欧州(フランクフルト、アイルランド、ストックホルム)です。他の形式のHiveテーブル、別アカウントのテーブル、この一覧以外のリージョンは、示された範囲に入りません。いつ広がるかは投稿に書かれていません。

コマンドライン版の流れは、開始、同期、完了の三段階です。移行を開始すると、S3 Tablesは範囲内のすべての移行元オブジェクトを洗い出し、データをコピーする前に互換性レポートを出力します。既定では、計画の後に自動でジョブが進みます。レビュー用のフラグを設定すれば一時停止して、先にレポートを読めます。移行先はテーブルバケット内の新しいIcebergテーブルで、推奨の既定値で作成され、移行中は読み取り専用です。同期は何度でも呼び出せ、そのたびに変更分だけをコピーします。移行を完了すると、移行先のテーブルは読み書き可能に昇格します。コンソールではAthenaとAmazon SageMaker Unified Studioが直接連携し、Iceberg REST APIに対応するエンジンなら結果をクエリできます。

移行元のテーブルへの影響の説明は、資料によって少し違います。開発者ガイドは、移行ジョブ中も移行元テーブルは変更されず、読み書きとも完全に利用できると述べます。ローンチブログは、移行元への書き込みを止めずに何度でも同期できるが、切り替え時には数分の例外があると述べます。両者は矛盾しませんが同じでもありません。ドキュメントはジョブについて、ブログは最後の切り替えについて語っています。切り替え時の短い書き込み停止も許容できないチームは、その手順を計画しておくべきで、ダウンタイムゼロを前提にしてはいけません。投稿は移行元データへのロールバックも可能と述べており、これは移行元が無傷のまま残るというドキュメントの説明と合っています。

型とスキーマの扱いは明示されています。移行はHiveのスキーマとパーティションをIcebergのスキーマとパーティション仕様にマップし、移行先のスキーマを指定することも、Glueのスキーマから互換のあるものを生成させることもできます。移行ポリシーが不一致のときの動作を決め、ブログの例では、一致しないフィールドのポリシーと互換性のない値のポリシーの両方を失敗に設定しています。これはサンプルリクエストの値で、既定値だと述べられているわけではありません。サンプルには調整可能なメンテナンス設定も示されています。目標ファイルサイズ512MBのコンパクション、少なくとも3つのスナップショットを残し168時間で期限切れにするスナップショット管理です。コピー後は、オブジェクト移行レポートが移行元オブジェクトごとの結果を示します。

費用は定性的に説明されています。支払うのはジョブがコピーしたデータ分だけで、HiveからIcebergへの変換自体は無料です。S3 Intelligent-Tieringにある移行元オブジェクトは現在のアクセス階層にとどまり、最終アクセスからの日数も保たれます。変換が無料でも移行が無料という意味ではなく、コピーされたデータはS3の料金で課金されます。投稿はS3の料金ページを案内するだけで、GBあたりの数字はありません。テーブルがSnappy圧縮なら、S3 TablesはZstandardに再圧縮して統合し、AWSはこれでストレージとオブジェクト数が減り、クエリ性能が上がると述べていますが、前後の数字は示していません。

エージェントも売り込みの一部です。AWS向けAgent Toolkitの移行スキルを使うと、Kiroのようなコーディングエージェントが、既存のIAMポリシーを分析して対応する移行先ポリシーを提案し、計画を検証し、開始・同期・完了の呼び出しを実行して進捗を監視します。安全のためのガードレールも付いています。このスキルは同じAPIを呼び出すエージェント向けの手引きで、別の移行エンジンではありません。

私たちの見方です。この機能はパイプラインを作る手間を省きますが、示された制限が自分の環境に当てはまるかを決めます。頼る前に四点を確認してください。テーブルがGlueに登録されていること、データがParquetであること、移行元と移行先が同じアカウント・リージョンであること、そのリージョンが一覧にあることです。そのうえで切り替えの時間枠を計画し、スキーマに珍しい型があるならコピー前に互換性レポートを読み、データ量からコピーの費用を見積もります。移行中は移行先が読み取り専用なので、移行を完了するまで新しいテーブルは書き込みを受けられません。