Flat Data - GitHubをデータETLツール兼リポジトリとして使う

• Git Scraping の手法を使って、軽量なデータベースアプリを簡単に開発できるよう支援するプロジェクト

→ 独自インフラなしで Data ETL を構築して利用

• 3つのコンポーネント

→ Flat Action : データのフェッチ/変換を行う GitHub Action

→ Flat Editor : Flat Data Workflow を編集する GUI（VS Code 拡張）

→ Flat Viewer : Repo に保存された Flatfile を表示・フィルタリング・共有できるウェブサイト

Flat Data の使い方

1. Flat Action で HTTP または SQL Query（MySQL,Postgres,SQLite,MongoDB など）からデータを取得

→ 株式/コイン相場、Excel to CSV、COVID Dashboard などを取得して GitHub Repo などに保存

2. データ変換

→ GitHub Action で後処理して新しいファイルとして保存

3. データ可視化

→ すべての GitHub アドレスに flat を付けるだけでデータを表示する GUI ツールを提供 : https://flatgithub.com/the-pudding/data

Flat Data を作った理由

• データを利用するには分散システムや大規模なインフラが必要

• 開発者がこうしたデータに簡単にアクセスできるよう、データ取得/整形作業を GitHub Actions で行えるようにするため

• 複雑な依存関係、ライブラリ、パッケージマネージャー、インフラなどを知らなくてもデータを Repo に保存可能

• このプロジェクトは GitHub OCTO（Office of the CTO）の開発者体験チームが進める実験であり、GitHub の公式製品ではありません。MIT ライセンス

[xguru]

Simon Willisonが作ったGit Scrapingの手法をGitHubが取り入れて、素晴らしい製品に仕上げましたね

• Git Scraping - Webの変更点をGit Repoに記録する https://ja.news.hada.io/topic?id=3008

SimonはTIL(Today I Learned)をGitHubインデックスに保存するコツでも有名です。

• GitHub ActionsでTIL READMEインデックスを自動生成する https://ja.news.hada.io/topic?id=1936