セマンティックモデルレジストリを作ってみました。

こんにちは。初めてご挨拶する場なので、文章を書く手が震えます。

目的

このサービスは https://ja.news.hada.io/topic?id=26967 [ AI以後のデータエンジニアリング ] の記事を見て思いつき、制作することになりました。
OSIフォーマットを中心に、さまざまなセマンティックモデル形式をimport、export、searchできるようにしようとしているサービスです。

作った理由

現在、セマンティックモデルに関する話題は徐々に増えてきていると考えました。その過程で、複数の企業が合意した形式がOSI(Open Semantic Interchange)という形式で、少し前に1.0がリリースされました。

これが本当に標準になるかどうかは未知数ですが、需要が生まれる前にまずサプライチェーンから解決し、国際的なプロジェクトに貢献してみたいという思いで作ることになりました。（ただし、セマンティック資産共有という点において、これに本当に需要があるのかという判断はいったん少し脇に置いています。）

機能

機能はPython SDK、CLI、Webの3つの領域に分けて開発しており、すべて同じ機能を持っています。

• dbt metric flowのような既存のセマンティックモデルをimportしてOSI形式にしたり、その逆も可能にしようとしています。
  もちろん、変換の過程で失われる文脈をどう補うかについても悩んでいます。
• また、単純な検索で終わるのではなく、検索後にプレビューを確認し、measure、dimensionなどを簡単に確認できるような利便機能も追加する予定です。
• そして、GitHubですでに存在するセマンティックレイヤーがインデックスされた際には、原作者とGitHub IDが同じ場合、claimして自分の公開物として取り込める機能があります。

スタック

検索にはOpenSearchを使用し、インフラ管理にはTerraform、バックエンドにはFastAPIを使用しました。

---

よろしくお願いします。