Flat Data - GitHubをデータETLツール兼リポジトリとして使う
(octo.github.com)<p>- Git Scraping の手法を使って、軽量なデータベースアプリを簡単に開発できるよう支援するプロジェクト<br />
→ 独自インフラなしで Data ETL を構築して利用<br />
- 3つのコンポーネント<br />
→ Flat Action : データのフェッチ/変換を行う GitHub Action<br />
→ Flat Editor : Flat Data Workflow を編集する GUI（VS Code 拡張）<br />
→ Flat Viewer : Repo に保存された Flatfile を表示・フィルタリング・共有できるウェブサイト <br />
<br />
Flat Data の使い方<br />
1. Flat Action で HTTP または SQL Query（MySQL,Postgres,SQLite,MongoDB など）からデータを取得 <br />
→ 株式/コイン相場、Excel to CSV、COVID Dashboard などを取得して GitHub Repo などに保存<br />
2. データ変換 <br />
→ GitHub Action で後処理して新しいファイルとして保存 <br />
3. データ可視化 <br />
→ すべての GitHub アドレスに flat を付けるだけでデータを表示する GUI ツールを提供 : https://flatgithub.com/the-pudding/data<br />
<br />
Flat Data を作った理由<br />
- データを利用するには分散システムや大規模なインフラが必要 <br />
- 開発者がこうしたデータに簡単にアクセスできるよう、データ取得/整形作業を GitHub Actions で行えるようにするため <br />
- 複雑な依存関係、ライブラリ、パッケージマネージャー、インフラなどを知らなくてもデータを Repo に保存可能<br />
<br />
* このプロジェクトは GitHub OCTO（Office of the CTO）の開発者体験チームが進める実験であり、GitHub の公式製品ではありません。MIT ライセンス </p>
1件のコメント