Databricks Certified Data Engineer Associate

1Databricks とレイクハウスの全体像 — なぜ必要か、何がどこに属し、どの計算資源で動くか

データ基盤とレイクハウス / アカウント・ワークスペース・Unity Catalog 三層 / コンピュートの選び分け / Photon は何を速くし、何を速くしないか

2データはどこに、どんな形で保存されるか — テーブルの実体と Delta Lake の内部

テーブルの実体はどこにあるか / 外部ストレージへつなぐ / Delta Lake の内部 / 過去に戻る・複製する / テーブル側で品質を守る

3計算資源を作り込み、コードを書く場所を決める — クラスタ設定とノートブック／ローカル IDE

クラスタの中身とサイジング / クラスタ環境を作り込む / ノートブックを使いこなす / ノートブックをつなぐ・ローカルから動かす

4Spark はどう動き、SQL で何をどこまで書けるか

Spark はどう実行されるか / Spark SQL の中核 / ウィンドウ関数とフレーム指定 / 複合型と高階関数

5PySpark でデータを加工し、遅いコードを見抜く

PySpark DataFrame API 実践 / UDF は最後の手段 / JOIN が遅いとき何が起きているか

6流れ込むデータを受け止める — Structured Streaming と Auto Loader のファイル検出

Structured Streaming 詳論 / Auto Loader (1) / Unity Catalog 配下で取り込むときの制約

7取り込み時にスキーマをどう扱うか — Auto Loader のスキーマ進化と COPY INTO

スキーマ強制と進化 / Auto Loader (2) / COPY INTO 完全解剖

8ファイル以外からも取り込む — read_files・Lakeflow Connect・JDBC と API

read_files とストリーミングテーブル / Lakeflow Connect / ファイル以外から取り込む

9生データを使える形に育てる — メダリオン設計と宣言的パイプライン

メダリオン設計の実務判断 / 更新をどう反映するか / Lakeflow Spark Declarative Pipelines 実務 / Expectations と apply_changes

10処理を1つのジョブに束ねる — タスク種別と依存関係の設計

Lakeflow Jobs の全体像とタスク種別 / DAG を組む

11ジョブを動かし、失敗から立て直す — トリガー・リトライ・パラメータ

いつ動かすか / 止まったジョブを直す / 値を渡す・外から動かす

12書いたものを安全に本番へ届ける — Git 連携とデプロイの自動化

Databricks Git Folders / Asset Bundles の文法 / Databricks CLI と CI/CD パイプライン

13誰に何を見せるか — Unity Catalog のアクセス制御とアイデンティティ統制

Unity Catalog の権限モデル / 行フィルタと列マスク / ABAC ポリシー / アイデンティティ・シークレット・ネットワークを統制する

14誰が何をしたか、いくらかかったか、どこで詰まったかを見る

リネージと監査 / コストの読み方 / system テーブルで全体を見る / 詰まったときにどこを見るか

15テーブルを保守して速くする — 運用コマンド・保持期間・レイアウト設計・障害復旧

Delta の運用コマンド5種 / 保持期間の設計 / データレイアウトで速くする / 壊れたときの復旧と罠

16DEA 直前仕上げ — 方式選定・出題範囲対応表・数値総まとめ・引っかけの型

取り込み方式の選定フロー / DEA 出題範囲対応表 / 数値・既定値・構文の総まとめ（直前チェック） / 引っかけの型