Rocky - パイプライン全体を型チェックし、実行前に壊れる変更を検出するSQL変換エンジン
(github.com/rocky-data)- スキーマドリフトの自動検知: ソーステーブルのカラム型/名前が上流で変わると、diff 後にターゲットを自動再生成
- 開発では通るのに本番で失敗するクエリを実行前に検出し、「昨日までは正常に動いていたのにデータがおかしい」という状況を実行時点で即座に遮断
- コンパイル時データ契約: 必須カラムの欠落、保護カラムの削除、危険な型変更を、プロダクションテーブルに1行でも書き込む前にエラーコード(E010、E013)で検出
- **カラム単位のリネージュ(column lineage)**を提供: 特定のカラムを指定すると、シードから最終ファクトテーブルまで逆追跡可能 - 「この数値はどこから来たの?」というときにモデルファイルを1つずつ掘る必要なし
- ブランチ = 分離された実験環境:
rocky branch createで別スキーマに実験ブランチを作成し、結果確認後にプロモートまたはドロップして プロダクションテーブルに触れるリスクを防止 - AIモデル生成: 「月次売上集計モデルを作って」のような自然言語入力で Rocky DSL モデルを自動生成し、コンパイル失敗時のリトライまで自動化 - SQL のボイラープレートを手書きする必要なし
- VS Code language server を提供: 型不一致や壊れた参照を CI ではなく記述中に表示し、カラム型のホバー表示と go-to-definition をすべてのモデルでサポート
- データマスキング — PII カラムにタグを付け、環境ごとにマスキング設定を適用。マスキングされないまま漏えいすると検査失敗として扱う
- インクリメンタルロードの自動管理:
strategy = "incremental"+timestamp_columnを設定するだけでウォーターマークを自動記憶。- 500行の初回ロード後に25行が追加された場合、差分だけを高速処理するため WHERE 条件を手動管理する必要なし
- ベンダーロックインなし:
rocky emit-sqlは、ウェアハウス接続なしで全変換モデルを依存関係順に並べた純粋な SQL としてオフラインレンダリングし、rocky import-dbtで純粋な dbt Core プロジェクトを1コマンドで変換 - 既存の Databricks/Snowflake/BigQuery は そのままに、SQL モデルのコンパイル/実行/リネージュ/ブランチを Rust バイナリ1つで処理
- アダプター状況: Databricks, Snowflake, BigQuery, Trino, DuckDB
- ソース: Fivetran, Airbyte, Iceberg, Manual
- Apache 2.0 ライセンス
まだコメントはありません。