主なポイント
- Apache Icebergはデータレイクハウスの主要なフォーマットとなっており、多くのAWSのお客様が、パフォーマンスと自動化の向上を目的に、Glueが管理するIcebergテーブルから、フルマネージドのAmazon S3 Tablesへと移行しています。
- Clumioは、Icebergに対応したスムーズな移行プロセスを実現し、データの整合性、メタデータ、バージョン履歴を維持しつつ、エアギャップ化された不変の保護機能を追加します。
- このプラットフォームは、シンプルなバックアップ・復元ワークフローを用いて移行を自動化し、カスタムスクリプトや手動設定の必要性を低減します。
- 手動またはAWSネイティブの移行方法と比較して、Clumioはエンタープライズ向けデータレイクハウスの近代化において、より高速でスケーラブル、かつ耐障害性に優れた選択肢を提供します。
- ClumioとAWSの連携、およびAWS Marketplaceでの提供により、組織は安全かつ確実にデータレイクを近代化することができます。
AIやレイテンシーに敏感な分析ワークロードは、基盤となるデータアーキテクチャとしてデータレイクハウスへの依存度を高めています。このような環境を構築するAWSのお客様の間で、Apache IcebergはAmazon S3上で最も急速に成長しているテーブル形式の一つとなっており、最新の分析に必要なトランザクションの一貫性、スキーマの進化、およびパフォーマンスを提供しています。
現在、AWSのお客様は、AWS Glue Data Catalogを通じてIcebergテーブルを管理するか、AWSのフルマネージドオプションであるAmazon S3 Tablesを採用することで、運用の効率化とパフォーマンスの向上を図っています。
AWSのお客様が、Icebergベースのデータレイクハウスの重要性の高まりを認識するにつれ、保護、耐障害性、およびAmazon S3 Tablesへの移行に関する検討事項が、当然ながらその計画の一部となっています。 現在、多くのチームが、Glueで管理されるIcebergテーブルからS3 Tablesへの移行を進めつつ、これらの重要なデータセットの保護を強化するための、シンプルで信頼性の高い方法を模索しています。
AWSの「2025年グローバル・ストレージ・パートナー・オブ・ザ・イヤー」に選出されたCommvaultは、AWSとの連携をさらに深め、顧客がクラウドネイティブデータを近代化、保護、最適化できるよう支援しています。
CommvaultはClumioを通じて、Icebergに対応したエアギャップ方式のサイバーレジリエンスソリューションをAWS向けに提供しています。さらに現在では、AWS Glue Data Catalogに登録されたIcebergテーブルからAmazon S3 Tablesへの移行を自動化すると同時に、長期的な保護と復旧を実現するための支援も行っています。AWS Marketplaceから無料トライアルを開始できます。
課題：S3テーブルへの移行オプションが限られている
データレイクのパフォーマンス向上と運用の簡素化を図るため、Glueが管理するIcebergテーブルからフルマネージドのAmazon S3テーブルへの移行を検討する組織が増えています。AWSによると、S3テーブルは、汎用S3バケットに保存されたIcebergテーブルと比較して、クエリパフォーマンスが最大3倍高速で、1秒あたりのトランザクション数が最大10倍高くなります。
また、多くのチームは、コンパクション、スナップショットの管理、参照されていないファイルのクリーンアップといった、差別化が難しく手間のかかる作業をオフロードしつつ、ストレージおよびクエリの総コストを削減したいと考えています。
しかし、AWSの移行フレームワークなど、AWSやコミュニティによる既存のガイダンスでは、カスタムスクリプトやオーケストレーションを必要とする、手動による多段階のプロセスが示されています。スキーマ、メタデータ、バージョン履歴を維持しながらデータを移行するには時間がかかり、エラーが発生しやすい上、現在のアプローチの多くは、Icebergに対応した復旧やロールバックではなく、レプリケーションに重点を置いています。
ClumioのApache Icebergテーブル向け移行サポートは、現代のデータレイクハウスに欠けていた、Icebergに対応したエンタープライズグレードの移行機能と耐障害性を提供します。デモをご請求いただき、Clumioがどのように移行を効率化するのかをご確認ください。
Clumioが移行と保護をどのように簡素化するのか
AWS上のApache Iceberg向けClumioは、AWS Glue Data Catalogに登録されたIcebergテーブルからAmazon S3テーブルへの移行を自動化する一方で、これらの最新のデータレイクハウス資産に対する長期的な保護も同時に実現します。
このIceberg対応プラットフォームは、エアギャップ化された不変のバックアップ、隔離されたリカバリポイント、特定時点またはスナップショットレベルの復元、およびコンプライアンス要件の遵守を支援する保存期間管理機能を提供し、クラウドネイティブなサイバーレジリエンス分野におけるCommvaultのリーダーシップをさらに強化します。
移行と保護は密接に連携しています：
- AWS Glue Data Catalogに登録されたIcebergテーブルの保護を支援します。
- フルマネージドのAmazon S3テーブルとして復元します。
- Clumioのサイバーレジリエンス機能により、これらのIcebergテーブルの保護を継続します。
Infrastructure-as-Codeによる展開を好むチーム向けに、ClumioはApache Icebergをサポートする公開済みのTerraformモジュールを提供しています。
AWSのお客様がAmazon S3 Tablesを採用するにつれ、これらの最新のデータ資産を保護することの重要性はさらに高まっています。ランサムウェア、誤削除、悪意のある変更や誤った変更、アカウントの乗っ取りなどの脅威ベクトルは、AIや分析パイプラインを混乱させ、多額のコストを伴う再処理を招く可能性があります。 Clumioは、不変でエアギャップ化されたバックアップ、およびアカウント、リージョン、スナップショット、特定の時点にわたる柔軟な復旧オプションを通じて、お客様がこれらのリスクを軽減できるよう支援します。データレイクハウスに専用の保護対策が必要な理由について詳しく知りたい場合は、『データレイクハウスの保護におけるギャップを埋める』をご覧ください。
仕組み – バックアップから復元まで
Clumio を使用した移行プロセスは、手間を最小限に抑え、Iceberg テーブルの整合性を維持するように設計された、シンプルなバックアップおよび復元ワークフローに従います。
ステップ 1: Commvault チームに連絡し、移行プログラムの確認と承認を受けてください。お問い合わせください。
ステップ 2: Clumio を使用して、AWS Glue Data Catalog に登録され、基となるデータが S3 に保存されている Iceberg テーブルを検出し、バックアップします。
ステップ 3: Iceberg テーブルのバックアップ（スナップショットの全履歴、選択したサブセット、または特定の時点のバージョンのいずれか）を、任意のアカウントまたはリージョン内の Amazon S3 テーブルとして復元します。
ステップ 4：増分バックアップを有効化し、新しい Amazon S3 テーブルの保護を維持します。
Clumio のアーキテクチャは、アカウント、リージョン、スナップショットをまたぐ Iceberg の復元におけるトランザクションの一貫性を確保し、その必要性を低減します。
Icebergの検出、バックアップの選択、スナップショットオプション、Amazon S3テーブルへの復元を含む、移行ワークフロー全体の実際の動作を確認するには、以下に埋め込まれたデモ動画をご覧ください。この動画では、バックアップと復元の全フローをエンドツーエンドで解説し、Clumioが手動設定を必要とせずにデータ、メタデータ、スナップショットの移行をどのように処理するかを示しています。
移行オプションの比較
現在、Amazon S3 Tables への移行の多くは、手動スクリプトやネイティブツールに依存しています。ここでは、それらの方法と Clumio の Iceberg 対応アプローチを比較します。
| 独自スクリプト／ オープンソースツール |
AthenaまたはGlueのAPIを使用してデータとメタデータをコピーするカスタムスクリプト | スクリプト作成の専門知識があり、独自の移行要件を持つチームに最適 |
| AWSネイティブのプロセス／ スナップショット |
AWSのドキュメントやコミュニティガイドでは、スナップショットベースまたはクエリ駆動型の移行について解説されています | ネイティブのAWSサービスを活用し、多段階の移行プロセスを管理するチームに適しています |
| Clumio | AWS向けのSaaSベースで、Icebergに対応したバックアップおよびリカバリソリューション | 継続的な保護機能を統合しつつ、メタデータやスナップショットの系譜を維持するのに役立つ、シンプルでIcebergに対応した移行ワークフロー |
デモをご依頼いただき、Clumioがどのように大規模な移行を簡素化するのかをご確認ください。
AWSのお客様にとってこれが重要な理由
AWSのお客様がデータレイクハウスを近代化するにあたり、IcebergテーブルをAmazon S3 Tablesへ移行し、運用上のリスクやサイバーリスクから保護するための、シンプルでスケーラブルな方法が必要とされています。Clumioは、Icebergに対応した移行機能に加え、エアギャップ方式による不変性保護を提供することで、このニーズに応えます。
AWSはCommvaultと連携し、お客様がClumioを活用してデータの保護とAmazon S3 Tablesへの移行の両方を実現できるよう支援しています。このソリューションは現在、AWS Marketplaceで提供されており、Glue管理型およびフルマネージド型のS3 Tables環境の両方におけるIcebergテーブルをサポートしています。CommvaultとAWSは協力し、企業がAIデータパイプラインを近代化するためのシンプルでスケーラブルな方法を企業に提供します。
AWSデータスタック全体におけるレジリエンスの強化を目指す組織の皆様は、ClumioによるAmazon S3データの保護およびAmazon DynamoDB向けClumio Backtrackに関する当社のブログ記事をご覧ください。
AWSデータ近代化戦略についてご相談をご希望の場合は、弊社までお問い合わせください。
ClumioとAWSによる今後の展開
組織がAI向けにデータプラットフォームを近代化する中、ClumioはS3 Tablesへの確実な移行、データ整合性の維持、サイバーレジリエンスの強化を支援します。Clumioは移行と保護を簡素化し、組織が最も重要なデータをより迅速に保護、復旧、移行できるよう支援します。
AWS Marketplaceで無料トライアルを開始してください。
よくある質問
Q: なぜ組織は、自己管理型のIcebergテーブルからAmazon S3 Tablesへ移行しているのですか？
A: 多くのチームが、パフォーマンスの向上と管理の簡素化を目的としてS3 Tablesへ移行しています。Amazon S3 Tablesは、自己管理型のIcebergテーブルと比較して、クエリパフォーマンスが最大3倍高速で、トランザクションスループットが10倍向上する一方で、運用上のオーバーヘッドを削減します。
Q: Clumioは移行プロセスをどのように簡素化するのですか？
A: Clumioは、スキーマとメタデータの一貫性を維持するバックアップおよび復元ワークフローを通じて、移行を自動化します。手動でのスクリプト作成を不要にし、アカウントやリージョンをまたいでIcebergのバックアップをS3 Tablesとして直接復元することを可能にします。
Q: Clumioは他の移行アプローチとどう違うのですか？
A: 自作のスクリプトやAWSのネイティブ手法とは異なり、ClumioはIcebergに対応した自動化ソリューションであり、不変のバックアップ、特定時点への復元、コンプライアンス要件の遵守を支援する保存期間管理機能など、サイバーレジリエンス機能を標準で備えています。
Q: Clumioは、移行中および移行後のデータ保護をどのように強化しますか？
A: Clumioは、ランサムウェア、誤削除、悪意のある変更からデータを保護する、エアギャップ化された不変のバックアップを提供します。また、スナップショット、アカウント、リージョンをまたぐ柔軟な復旧もサポートしています。
Q: Clumioは現在、AWSのお客様が利用できますか？
A: はい、ClumioはAWS Marketplaceで提供されており、AWS GlueおよびAmazon S3 Tables環境の両方と統合されています。これにより、お客様はAIデータパイプラインの近代化と保護を実現できます。
Q: S3 Tablesへの移行に向けてClumioを利用するための最初のステップは何ですか？
A: 組織はまず、Commvaultに連絡して移行プログラムの承認を得た後、Clumioを使用してIcebergテーブルをAmazon S3 Tablesとして検出、バックアップ、復元することができます。AWS Marketplaceでは無料トライアルが利用可能です。
Vir Choksiは、Commvaultのプリンシパル・プロダクト・マーケティング・マネージャーです。
関連ブログ
