Microsoft Fabric KQL Database (Eventhouse) 完全ガイド｜Real-Time Intelligence・Eventstream・Activator

Microsoft Fabric の Real-Time Intelligence Workload で提供される、KQL (Kusto Query Language) ベースの時系列・ログ分析データベース。Azure Data Explorer (ADX) の Fabric 版で、機能・パフォーマンス共に ADX とほぼ同等。Eventhouse は KQL Database の親リソースで、1 Eventhouse 内に複数 KQL Database をホスト。代表的なユースケース: 1) IoT デバイステレメトリ集計、2) アプリケーションログ分析 (Sentinel と類似)、3) リアルタイムダッシュボード (Power BI Direct Lake 接続)、4) Web トラフィック分析、5) 不正検知 (Anomaly Detection)。SQL の代わりに KQL を使う点で学習コストはあるが、時系列 / ログ分析では SQL より遥かに表現力が高く、Azure Monitor Log Analytics・Microsoft Sentinel と統一言語で運用可能な利点があります。

Eventstream は Microsoft Fabric の Real-Time Intelligence で提供されるリアルタイムデータ取り込みサービス、KQL Database への Streaming 取り込みパイプライン。代表的なソース: 1) Azure Event Hub (Kafka 互換)、2) Azure IoT Hub、3) Azure Service Bus、4) Custom Endpoint (HTTP POST)、5) AWS Kinesis (Connector 経由)、6) Google Cloud Pub/Sub。代表的な変換: 1) Filter (条件マッチ)、2) Aggregate (時間ウィンドウ集計)、3) Transform (JSON Path・カラム変換)、4) Union (複数ストリーム結合)。Sink (出力先): KQL Database (主流) / Lakehouse Delta Table / Custom Endpoint。代表的な構成: IoT Hub → Eventstream (Filter + Aggregate) → KQL Database → Power BI Direct Lake で 数秒遅延のリアルタイムダッシュボード実現。低レイテンシ要件の IoT / Streaming Analytics に最適です。

Real-Time Dashboard は Fabric の Real-Time Intelligence で提供されるリアルタイム分析専用ダッシュボードツール。KQL Database を直接ソースとして、Auto-refresh (5 秒間隔) で常に最新データを表示。代表的な機能: 1) KQL Query をベースとしたタイル (Chart・Stat Card・Table)、2) Parameter で動的フィルタ (時間範囲・地域・カテゴリ)、3) Drill-down で詳細データ表示、4) Conditional Formatting (異常値強調表示)、5) Auto-refresh 設定。代表的なユースケース: 1) IoT デバイス Operational Dashboard (リアルタイム監視)、2) Web トラフィックモニタリング (秒単位 PV / UU)、3) Manufacturing 工場ライン監視、4) E-commerce 売上ダッシュボード (リアルタイム売上)、5) Security SOC ダッシュボード (Sentinel 補完)。Power BI Direct Lake と比較: Real-Time Dashboard は『常時 Auto-refresh』、Power BI は『手動 Refresh + 多機能可視化』、用途に応じて使い分けます。

Activator (旧 Data Activator・Fabric Reflex) は Fabric の Real-Time Intelligence で提供されるデータ駆動アクションサービス。KQL Database / Eventstream のデータパターン (異常値・閾値超過・トレンド変化) を継続監視 → 自動アクション (メール通知・Teams メッセージ・Power Automate Workflow 起動) を実行。代表的なユースケース: 1) IoT センサーで温度異常検知 → 設備管理者にアラート、2) Web トラフィックで Bot 攻撃検知 → SOC 通知、3) E-commerce で在庫切れ予測 → 自動発注、4) Manufacturing で不良率上昇 → 工場長アラート、5) Streaming で遅延検知 → Engineering オンコール通知。条件設定は GUI ベース (Object・Property・Condition) で IT 部門以外でも構成可能、ビジネスユーザーがリアルタイムアクション設計できる Microsoft の戦略的サービス。Microsoft Sentinel の Logic App Playbook と類似機能ですが、Activator はビジネスシナリオに特化しています。

代表的な取り込み方式: 1) Eventstream (Streaming、最も推奨、リアルタイム要件)、2) Get Data ボタン (One-time 取り込み・小規模ファイル・CSV/JSON/Parquet)、3) KQL .ingest コマンド (Notebook / Pipeline から実行)、4) Continuous Data Ingestion (Storage Account 監視で自動取り込み)、5) Kusto Ingestion Client (.NET / Python / Java SDK)、6) Update Policy (テーブル間の自動変換取り込み)、7) Data Connection (External Table)。バッチ取り込みでは Streaming Ingestion (低レイテンシ秒単位) と Batching Ingestion (大量データ・分単位) を選択。代表的な構成: IoT データは Eventstream で Streaming・履歴データは Get Data で一括取り込み・複数ソースは Pipeline で Orchestration。KQL Database は 大量データ取り込み (TB-PB 級・秒間数百万イベント) に最適化された設計です。

KQL は Microsoft 開発のクエリ言語、SQL と類似だがパイプライン構文。基本構文: テーブル名 → 演算子 → 演算子 → ... の順で `|` で連結。代表演算子: project (列選択)・extend (列追加)・summarize (集計)・where (フィルタ)・join (結合)・union (テーブル結合)・parse (文字列パース)・extract (正規表現抽出)・mv-expand (配列展開)・bin (時間バケット化)・ago (過去時間指定)・now (現在時刻)・make-set / make-list (配列集計)・dcount (重複除いた件数)・render (グラフ描画指定)。例: `TableName | where TimeGenerated > ago(1h) | summarize Count = count() by bin(TimeGenerated, 5m), UserName | render timechart`。詳細は Microsoft Sentinel KQL レシピ集記事を参照 (同じ KQL 言語、文法共通)。SQL 経験者なら数日でキャッチアップ可能、Microsoft データ系製品 (Sentinel・Azure Monitor・Fabric KQL DB) で標準採用される必須スキルです。

Fabric KQL Database は Fabric Capacity (CU) を消費する単一課金体系。代表的な CU 消費: 1) Eventstream 経由のデータ取り込み (低レイテンシ Streaming は CU 高消費・Batching は低消費)、2) KQL Query 実行 (複雑クエリほど CU 消費)、3) Hot Cache のメモリ使用、4) Real-Time Dashboard の Auto-refresh (秒単位 Refresh は高 CU)。コスト削減施策: 1) Hot Cache 期間を業務要件に合わせて最小化 (Hot は高速・Cold は低コスト)、2) Cold Storage に古いデータ移動 (Retention Policy で自動)、3) Materialized View で複雑クエリの結果キャッシュ、4) Update Policy で取り込み時に集計済みテーブル生成、5) Real-Time Dashboard の Refresh 間隔調整 (5 秒 → 30 秒で大幅削減)、6) Reserved Capacity 活用。Fabric の CU 共有設計で他 Workload との総合コスト管理可能、Capacity Metrics App で月次 Right-sizing が標準パターンです。

DP-700 (Fabric Data Engineer Associate) のドメイン 2 (Ingest and transform data 30-35%) で KQL Database・Eventstream・Real-Time Intelligence が深く問われる本領域の本命認定。SC-200 (Security Operations Analyst) で KQL 共通スキルとして、AZ-104 (Administrator) のドメイン 5 で Azure Monitor + KQL 基礎、MS-102 (Microsoft 365 Administrator Expert) で Defender XDR Advanced Hunting (KQL ベース)。Microsoft 製品全般で KQL が標準採用、特に Real-Time Analytics 領域で Fabric KQL Database の重要度が今後高まる見込みです。