Snowflake File Formats設計ガイド｜CSV・JSON・Parquet別の最適設定

File Formatは、Snowflakeにデータをロード（COPY INTO <table>）または アンロード（COPY INTO <location>）する際のファイル形式とパースオプションを定義する 再利用可能なオブジェクトです。CSV・JSON・Parquet・Avro・ORCの5つの形式をサポートし、 各形式固有のオプション（区切り文字・圧縮・エラー処理など）を一元管理できます。

CSV File Formatの作成

-- 基本的なCSV File Format
CREATE OR REPLACE FILE FORMAT util_db.formats.csv_standard
  TYPE = 'CSV'
  FIELD_DELIMITER = ','
  RECORD_DELIMITER = '\n'
  SKIP_HEADER = 1
  FIELD_OPTIONALLY_ENCLOSED_BY = '"'
  NULL_IF = ('NULL', 'null', '\N', '')
  EMPTY_FIELD_AS_NULL = TRUE
  COMPRESSION = 'AUTO';

-- パイプ区切りのCSV（レガシーシステム連携向け）
CREATE OR REPLACE FILE FORMAT util_db.formats.csv_pipe
  TYPE = 'CSV'
  FIELD_DELIMITER = '|'
  RECORD_DELIMITER = '\n'
  SKIP_HEADER = 0
  ESCAPE = '\\'
  ESCAPE_UNENCLOSED_FIELD = '\\'
  TRIM_SPACE = TRUE;

-- エラー許容CSVフォーマット（データ品質が不安定な場合）
CREATE OR REPLACE FILE FORMAT util_db.formats.csv_tolerant
  TYPE = 'CSV'
  FIELD_DELIMITER = ','
  SKIP_HEADER = 1
  FIELD_OPTIONALLY_ENCLOSED_BY = '"'
  ERROR_ON_COLUMN_COUNT_MISMATCH = FALSE
  REPLACE_INVALID_CHARACTERS = TRUE;

CSVの主要オプション

JSON File Formatの作成

-- 基本的なJSON File Format
CREATE OR REPLACE FILE FORMAT util_db.formats.json_standard
  TYPE = 'JSON'
  STRIP_OUTER_ARRAY = TRUE
  STRIP_NULL_VALUES = FALSE
  IGNORE_UTF8_ERRORS = FALSE
  COMPRESSION = 'AUTO';

-- ネストされたJSON（VARIANT列にロード）
CREATE OR REPLACE FILE FORMAT util_db.formats.json_nested
  TYPE = 'JSON'
  STRIP_OUTER_ARRAY = TRUE
  ALLOW_DUPLICATE = TRUE
  ENABLE_OCTAL = FALSE;

JSONの主要オプション

Parquet / Avro / ORC File Formatの作成

-- Parquet File Format
CREATE OR REPLACE FILE FORMAT util_db.formats.parquet_standard
  TYPE = 'PARQUET'
  COMPRESSION = 'SNAPPY'
  BINARY_AS_TEXT = FALSE;

-- Avro File Format
CREATE OR REPLACE FILE FORMAT util_db.formats.avro_standard
  TYPE = 'AVRO'
  COMPRESSION = 'AUTO';

-- ORC File Format
CREATE OR REPLACE FILE FORMAT util_db.formats.orc_standard
  TYPE = 'ORC'
  TRIM_SPACE = FALSE;

ファイル形式の比較表

COPY INTOでのFile Format利用パターン

-- パターン1: 名前付きFile Formatを参照
COPY INTO raw_data.orders
FROM @landing_stage/orders/
FILE_FORMAT = util_db.formats.csv_standard
ON_ERROR = 'CONTINUE';

-- パターン2: インラインでオプションを指定
COPY INTO raw_data.events
FROM @landing_stage/events/
FILE_FORMAT = (TYPE = 'JSON' STRIP_OUTER_ARRAY = TRUE);

-- パターン3: Parquetからのスキーマ自動検出ロード
COPY INTO raw_data.metrics
FROM @landing_stage/metrics/
FILE_FORMAT = util_db.formats.parquet_standard
MATCH_BY_COLUMN_NAME = CASE_INSENSITIVE;

-- アンロード: テーブルからParquetファイルに出力
COPY INTO @export_stage/reports/
FROM analytics.monthly_report
FILE_FORMAT = util_db.formats.parquet_standard
HEADER = TRUE
OVERWRITE = TRUE;

ステージへのFile Format紐付け

-- ステージ作成時にFile Formatを指定
CREATE OR REPLACE STAGE csv_landing
  URL = 's3://my-bucket/csv/'
  STORAGE_INTEGRATION = s3_integration
  FILE_FORMAT = util_db.formats.csv_standard;

-- この場合COPY INTOでFILE_FORMATの指定が不要
COPY INTO raw_data.orders FROM @csv_landing;

File Formatの管理コマンド

-- 一覧表示
SHOW FILE FORMATS IN SCHEMA util_db.formats;

-- 定義の詳細確認
DESCRIBE FILE FORMAT util_db.formats.csv_standard;

-- オプションの変更
ALTER FILE FORMAT util_db.formats.csv_standard
  SET SKIP_HEADER = 2;

-- 削除
DROP FILE FORMAT util_db.formats.csv_standard;

トラブルシューティング

ベストプラクティス

• 中央管理スキーマにFile Formatを集約：util_db.formatsのような共通スキーマで管理し、USAGE権限を必要なロールにGRANTする
• 分析ワークロードにはParquetを優先：列指向形式で圧縮効率が高く、MATCH_BY_COLUMN_NAMEによるスキーマ進化にも対応可能
• VALIDATE関数で事前検証：COPY INTOの前にVALIDATION_MODE = 'RETURN_ERRORS'で問題行を特定してからロードする
• NULL_IFとEMPTY_FIELD_AS_NULLを明示設定：空文字列とNULLの扱いを曖昧にしないことでデータ品質の問題を防ぐ

問題で確認

よくある質問