Flat Fileとは何か？

• フラットファイルはデータ分析で非常に一般的な形式
• この完全ガイドでは、フラットファイルとは何か、どのような種類があるのか、何を選ぶべきかから、ユースケース、フォーマットの特徴、non-フラットファイルのデータベースやリレーショナルDBMSとの比較までを説明している

定義が難しい

• Flat Fileは主にデータベースからデータを抽出して処理する際に使われる
• CSVのような単純なテキストファイル形式で、各行がレコードを表し、フィールドはカンマで区切られる
• しかし"Flat File"の定義は明確ではなく、次のような共通特性がある:
  • Text-only: バイナリデータ（Blob）ではなく、テキストと数値のみを保存
  • 表形式（Tabular）: ファイルごとに1つのテーブル、行ベースのレコード構成
  • ポータブル: 特別なソフトウェアなしで簡単に出力、修正、処理が可能
  • 非構造的: 一般的にレコード間に階層構造や関係がない
  • 圧縮なし: 基本的に高度な圧縮はない（ただし、DuckDB、Sparkなどではzipファイルを許容）
  • インデックスなし: 特定のレコードを探すための組み込みインデックスがない
  • 説明なし: 一般的にメタデータやスキーマ情報がない
• JSONおよびYAMLは階層構造やスキーマを含められるため、この定義から外れる
• 非常に多様なユースケースに使えるという事実も、実際にはあまり役に立たない
  • CSV: データ保存および交換形式
  • JSON: 大規模なデータ交換、構成管理、APIの返却形式
  • YAML: 構成管理およびパイプライン定義ファイル

Flat Fileの種類

• データが構成・保存される方法に応じてさまざまな種類が存在する
• フィールドおよびレコードの構成方式
  • 非構造的 Flat File: CSVのような単一テーブル構造
  • 構造的 Flat File: JSON、YAML、XMLなどは階層構造を持つ
• フィールド区切り記号の種類
  • 行が1つのレコードを表し、区切り記号でフィールドを分ける
  • カンマ(,)、タブ(\t)、パイプ(|)を使用
• 固定幅 vs 可変幅形式
  • 固定幅形式はフィールドが一定の長さを持つ → 処理速度が速い
  • 可変幅形式は処理の柔軟性が高い
• データ区切り文字
  • CSVはタブおよび改行を保存可能（エスケープ処理）
  • TSVはタブおよび改行を扱えない
• 人間の読みやすさ
  • Flat Fileは人が読める場合が多い
  • 一部のプラットフォームではExcelファイルもFlat Fileに分類する
• メタデータを含むかどうか
  • CSVのようなファイルにはメタデータがない
  • JSONは独自のメタデータやスキーマを含めることができる

Flat Fileのユースケース

• 保存と交換
  • データ交換: CSV、JSONは異なるプラットフォーム間のデータ交換に有用
  • ETLでのデータ統合: Flat FileはETLでソースデータおよびターゲットデータとしてよく使われる
  • アーカイブとバックアップ: Flat Fileはテキストベースで長期保管に有利
• ユーティリティ用途
  • 構成管理: YAML、JSON、INIなどは環境変数、データベース接続などに使用
  • データパイプライン定義: JSON、YAMLなどはパイプライン構造の定義に使用
  • データセットのメタデータ: JSONはCSVの変換およびバリデーションを定義可能

Flat Fileの例

CSV (Comma-Separated Values)

• 拡張子: .csv
• 区切り記号: カンマ ,
• 構造: フラット（Flat）
• 人が読みやすい
• 例:

  name, country, age  
  Alice, USA, 22  
  Bob, Canada, 34  
  Charlie, UK, 28  
  

• 選択基準:
  • 構造化されたテーブル形式データに適している
  • BIシステム、Excel/Google Sheetsで出力する際に有用
• 避けるべきケース:
  • 複雑な階層構造が必要な場合には不向き
  • カンマを含むデータを扱う際に問題が発生する可能性がある

TSV (Tab-Separated Values)

• 拡張子: .tsv
• 区切り記号: タブ \t
• 構造: フラット（Flat）
• 人が読みやすい
• 例:

  name	country	age  
  Alice	USA	22  
  Bob	Canada	34  
  Charlie	UK	28  
  

• 選択基準:
  • カンマを含むデータを処理する必要がある場合に有用
  • Unix CLIツールで簡単に処理できる
• 避けるべきケース:
  • タブを含むデータを扱う際に問題が発生する

JSON (JavaScript Object Notation)

• 拡張子: .json
• 構造: 階層構造
• 人が読みやすい
• 例:

  [  
    {"name": "Alice", "country": "USA", "age": 22},  
    {"name": "Bob", "country": "Canada", "age": 34},  
    {"name": "Charlie", "country": "UK", "age": 28}  
  ]  
  

• 選択基準:
  • 階層的なデータ構造が必要な場合に適している
• 避けるべきケース:
  • 速度優先の処理には不向き

YAML (YAML Ain’t Markup Language)

• 拡張子: .yaml
• 構造: 階層構造
• 人が読みやすい
• 例:

  name: Alice  
  country: USA  
  age: 22  
  

• 選択基準:
  • 人が読みやすい設定ファイルが必要な場合に適している
• 避けるべきケース:
  • 大規模データの保存には不向き

ENV Files

• 拡張子: .env
• 構造: フラット（Flat）
• 人が読みやすい
• 例:

  APP_NAME=MyApp  
  ENVIRONMENT=production  
  

• 選択基準:
  • デプロイおよびローカル環境で設定ファイルが必要な場合に適している
• 避けるべきケース:
  • 複雑なデータ構造の保存には不向き

Flat File vs Non-Flat File vs DBMS 比較

Flat Fileはリレーショナルデータベース（RDBMS）とよく比較され、Avro、Parquet、ORCのような中間形式も存在する。以下は主要形式の特性比較である:

• レコード構成方式

  • CSV: 行（Row）ベースのデータ保存
  • JSON: キーと値のペアベースで保存
  • Parquet: カラム（Column）ベースで保存
  • リレーショナルDBMS: 行（Row）ベースで保存

• 人が読める形式かどうか

  • CSVとJSON: テキストベース → 人が読みやすい
  • ParquetとDBMS: バイナリベース → 人が読みにくい

• 移植性（Portability）

  • CSV、JSON、Parquet: プラットフォーム間の互換性が高い
  • DBMS: 特定のソフトウェアでのみ利用可能

• 階層構造のサポート

  • CSV: 階層構造なし
  • JSON: 階層構造をサポート
  • Parquet: ネスト構造をサポート
  • DBMS: 複数テーブルおよびリレーショナル構造をサポート

• 拡張性（Scalability）

  • CSV、JSON: 拡張性が低い
  • Parquet、DBMS: 拡張性が高い

• インデックスのサポート有無

  • CSV、JSON: インデックスなし
  • Parquet: ファイルレベルおよびカラムレベルのメタデータにより高速検索が可能
  • DBMS: インデックスをサポート

• スキーマのサポート有無

  • CSV: スキーマなし
  • JSON: スキーマを含められる
  • Parquet、DBMS: スキーマを強制適用

• ParquetはB-Treeやハッシュインデックスを使わない。代わりにファイル、行グループ、カラムレベルのメタデータを通じてデータ検索速度を高める

適切なFlat File形式を選ぶ

• CSV, TSV → データをアーカイブしたりプラットフォーム間で移動したりする際など、シンプルなデータ交換と保存
• JSON → 階層構造を持つ自己記述型ファイル形式が必要なときに使用
• YAML → 構成およびパイプライン設定に適している
• Parquet → 小さいファイルサイズ、高速クエリ、複雑なデータ型のサポートが必要なときに検討