生データと加工済みデータを一元管理するデータレイク
気象観測データを扱う研究機関のデータサイエンスチームが、観測機器から届く生ログ、外部から購入した気象データ、分析用に変換済みのデータセットを 1 か所に集約する基盤を短期間で立ち上げようとしています。加工前の元形式と分析用に処理された形式の両方を保持したうえで、研究部門ごとにテーブル単位・列単位でアクセス権を制御し、どこに何のデータがあるかをカタログで一元管理する必要があります。最も適したサービスを1 つ選択してください。
解説を読む（正解: D）
データレイクとは、構造化データも非構造化データも、加工前の生データのまま格納したうえで、必要に応じて変換後のデータも同じ基盤に保持できる一元的なリポジトリです。AWS では耐久性とコスト効率に優れた Amazon S3 をストレージ層とし、その上に AWS Lake Formation を重ねる構成が標準です。Lake Formation は S3 のロケーション登録、AWS Glue データカタログとの統合、取り込みのブループリント、そしてデータベース・テーブル・列・行レベルでの一元的なアクセス許可管理を提供し、部門ごとの権限設計を短期間で実現できます。したがって要件を最もよく満たすのは Lake Formation によるデータレイク構築です。AWS Glue 単体でもクローラによるカタログ化と ETL は可能ですが、アクセス制御は S3 バケットポリシーと IAM ポリシーを個別に書く必要があり、列単位の細粒度制御を一元管理する仕組みが得られないため、統制の要件を満たしにくくなります。Amazon Kinesis Data Streams はストリーミングデータの取り込みと配信に特化したサービスで、保持期間が限られた一時的なストリームであり、長期保存とカタログ管理を担うデータレイクにはなりません。AWS Database Migration Service はデータベース間の移行ツールであり、1 台の RDS に集約する構成は非構造化の生データを保持できず、容量拡張とコストの面でもデータレイクの代替にはなりません。
データレイクの外部共有と機密データの検出
製薬企業が、Amazon S3 を基盤とし AWS Lake Formation で権限管理を行うデータレイクに、臨床試験の解析データを集約しています。今後はこのデータの一部を、組織外の共同研究先企業へ提供する計画があります。あわせて、データレイクに取り込まれるファイルの中に患者の個人情報などの機密データが混在していないかを検出し、別管理したいという要件もあります。
これらの要件を満たすソリューションを 2 つ選択してください。
複数選択問題です (正解 2 つ)。選んでから判定してください。
解説を読む（正解: A、B）
AWS Lake Formation は S3 上のデータレイクに対して、テーブルや列、行、タグの単位で一元的にアクセス許可を管理するサービスです。ただし Lake Formation の権限付与は基本的に AWS アカウントや AWS Organizations の範囲を対象とするため、組織外の第三者へデータを提供する場合には AWS Data Exchange を利用します。Data Exchange はデータセットの公開・購読・課金・配信を扱うサービスで、Lake Formation と連携させることで、レイク上のテーブルに対する権限を保ったまま外部企業へデータを提供できます。これが A です。機密データの識別には AWS Glue の機密データ検出機能を使います。Glue の ETL ジョブ内で個人情報などのパターンを検出し、検出結果の出力やマスキング・置換といった処理につなげられるため、取り込み経路の中で機密データを分離管理できます。これが B です。C の AWS Secrets Manager は、データベース認証情報や API キーといったシークレットを安全に保管しローテーションするサービスであり、データの中身を走査して機密情報を検出する機能はありません。D は誤りで、AWS Data Exchange はデータの共有・流通のためのサービスであり、機密データをスキャンする機能は提供していません。E も不適切で、Amazon S3 は VPC ピアリング越しにファイルシステムとしてマウントするようなサービスではなく、この方法では提供範囲の制御や利用条件の管理といったガバナンスも実現できません。
S3 と RDS のデータを統合分析しきめ細かく権限を制御する
あるオンライン旅行代理店は、予約行動のログを Amazon S3 バケットに、会員の氏名や住所などの個人情報を Amazon RDS データベースに保存しています。ソリューションアーキテクトは、この 2 種類のデータを横断して分析できる仕組みを整えるよう依頼されました。分析には社内の複数チームに属する多数の IAM プリンシパルがアクセスしますが、テーブルや列の単位でアクセスできる範囲を細かく分けなければなりません。運用上のオーバーヘッドを最小限に抑えながらこの要件を満たすソリューションはどれですか。
解説を読む（正解: C）
AWS Lake Formation は、Amazon S3 上に構築したデータレイクのカタログ管理と、その上のきめ細かなアクセス制御を一元化するサービスです。AWS Glue のクローラーと JDBC 接続を使えば、Amazon RDS のテーブルスキーマを AWS Glue データカタログに取り込み、S3 上のデータと合わせて 1 つのカタログとして扱えます。S3 のロケーションを Lake Formation に登録すると、以後は IAM ポリシーやバケットポリシーを個別に書く代わりに、データベース単位、テーブル単位、列単位、さらには行やセルの単位で許可を付与でき、その権限は Amazon Athena や Amazon Redshift Spectrum、Amazon EMR からのクエリにも一貫して適用されます。多数の IAM プリンシパルに詳細な権限を与えるという要件を、独自の権限管理の仕組みを作り込むことなく満たせるため、運用上のオーバーヘッドが最小になります。Redshift へ Lambda で定期コピーする案は、ETL コードとスケジュールを自作して保守する必要があり、データの複製先が増えることで権限管理も二重化するため、運用負担が大きくなります。すべてのデータを RDS に集約し直す案は、大量のオブジェクトデータをリレーショナルデータベースへ取り込むことになり、コストとスケーラビリティの両面で現実的ではなく、分析クエリが本番の会員データベースへ負荷をかける点も問題です。Lambda で RDS のデータを S3 に寄せて Athena でクエリする案は方向性としては近いものの、S3 バケットポリシーはバケットやプレフィックスの単位でしか制御できず、列単位で権限を分けるという要件を満たせません。