Amazon S3 Files をリリース – S3 バケットにファイルシステムのようにアクセス可能
(aws.amazon.com)- Amazon S3 Files は、S3 バケットを 高性能なファイルシステムとして直接マウント し、EC2、ECS、EKS、Lambda などからそのままアクセスできるようにする機能
- オブジェクトストレージの 耐久性とコスト効率 を維持しながら、対話的なファイルアクセス性と低レイテンシ(約 1ms) を提供
- NFS v4.1+ プロトコル をサポートし、ファイルの作成・修正・削除など一般的なファイル操作と 自動同期 機能を提供
- IAM 統合、TLS 1.3 暗号化、POSIX 権限制御 などによりセキュリティとアクセス制御を強化し、CloudWatch・CloudTrail で監視可能
- AI・ML・データ処理ワークロードにおいて データサイロを解消し、S3 を中央データハブとして活用 できる基盤を提供
Amazon S3 Files の紹介
- Amazon S3 Files は、AWS のコンピュートリソースから Amazon S3 バケットに高性能なファイルシステムのように直接アクセス できる新機能
- オブジェクトストレージとファイルシステムの境界を緩和し、S3 の 耐久性とコスト効率 を維持しながら 対話的なファイルアクセス性 を提供
- 複数のコンピュートリソースが同じデータを 重複なく共有 でき、変更内容は自動的に S3 バケットと同期される
- 約 1ms レベルのレイテンシ と NFS v4.1+ プロトコルをサポート
- EC2、ECS、EKS、Lambda などさまざまな AWS サービスで ネイティブなファイルシステム形式で S3 データにアクセス可能
主な機能と動作方式
- ファイルシステムは S3 オブジェクトを ファイルおよびディレクトリ構造 として表示し、作成・読み取り・修正・削除など一般的なファイル操作をサポート
- 頻繁にアクセスされるファイルは 高性能ストレージ にキャッシュされて低レイテンシで提供され、大容量のシーケンシャル読み取りファイルは S3 から直接ストリーミング
- バイト範囲読み取り(byte-range read) 機能により、要求された部分だけを転送してデータ移動量とコストを削減
- インテリジェントなプリフェッチ(prefetching) によりアクセスパターンを予測して性能を最適化
- ファイル全体またはメタデータのみをロードするか選択でき、きめ細かなキャッシュ制御 が可能
内部構造と性能
- 内部的には Amazon Elastic File System (EFS) をベースとしており、アクティブデータに対して約 1ms のレイテンシ を提供
- 複数のコンピュートリソースからの 同時アクセス をサポートし、NFS の close-to-open 整合性モデル を維持
- AI エージェントの協調、ML 学習パイプライン、データ処理ワークロード など、ファイルベースの共有作業に適している
EC2 での使用例
- EC2 インスタンスと通常の S3 バケットを準備した後、コンソールまたは CLI で S3 ファイルシステムの作成とマウントターゲットの構成 を実施
- EC2 では次のコマンドでマウント可能
sudo mkdir /home/ec2-user/s3filessudo mount -t s3files fs-0aa860d05df9afdfe:/ /home/ec2-user/s3files
- その後
~/s3filesディレクトリで標準的なファイルコマンドを使って S3 データを直接操作可能 - ファイルを修正すると S3 バケットに 数分以内に自動反映 され、バケット側の変更は 数秒以内にファイルシステムへ反映
セキュリティと管理
- AWS Identity and Access Management (IAM) と統合され、ファイルシステムおよびオブジェクトレベルのアクセス制御が可能
- データは TLS 1.3 により転送中に暗号化 され、保存時には SSE-S3 または AWS KMS キー で暗号化
- POSIX 権限モデル を使用して UID/GID ベースのアクセス制御を実施
- Amazon CloudWatch で性能および更新を監視し、AWS CloudTrail で管理イベントを記録
- EC2 インスタンスには最新の amazon-efs-utils パッケージ のインストールが必要(AWS AMI には標準搭載)
- ECS、EKS、Fargate、Lambda などでも同様に S3 バケットをファイルシステムとしてマウント可能
サービス選定ガイド
- S3 Files は、S3 に保存されたデータへ 対話型・共有型ファイルシステムインターフェースでアクセス する必要があるワークロードに適している
- 例: 本番アプリケーション、Python ベースの AI エージェント、ML 学習パイプラインなど
- Amazon FSx は、オンプレミス NAS 環境の移行や特定のファイルシステム機能が必要な場合に適している
- FSx for Lustre: HPC および GPU クラスター向けの高性能ストレージ
- FSx for NetApp ONTAP / OpenZFS / Windows File Server: 特定のファイルシステム互換性が求められる場合に利用
価格と提供リージョン
- S3 Files は すべての商用 AWS リージョンで即時利用可能
- 課金項目は以下のとおり
- ファイルシステムに保存されたデータ容量
- 小さなファイルの読み取りとすべての書き込み操作
- ファイルシステムと S3 バケット間の同期時に発生する S3 リクエスト
- 詳細な料金は Amazon S3 料金ページ で確認可能
活用価値
- S3 Files は データサイロの解消、同期の複雑さの低減、オブジェクトとファイル間の手動データ移動の排除 に貢献
- ファイルシステムベースのツールやスクリプトを使う AI・ML・データエンジニアリングのワークロード で S3 データを直接活用可能
- 組織のすべてのデータを S3 に統合保存しながら、すべての AWS コンピュートリソースから直接アクセス可能な中央ハブ として活用可能
まだコメントはありません。