Datasette Cloud: Datasette向けSaaSホスティングプラットフォーム

 (datasette.cloud)
2 ポイント 投稿者 GN⁺ 2023-08-22 | 1件のコメント | WhatsAppで共有
  • Datasette Cloudは、オープンソースのDatasetteをチーム向けSaaSとしてホスティングし、プライベートな空間でデータを共有し、必要なデータだけを外部に公開できるようにする
  • 初期の焦点はニュースルームで、記者が自らサーバーを設定・運用しなくても、チーム内部と一般向けにデータを配布できるよう支援することにある
  • 各チームは最寄りのリージョンにプライベートなspaceを作成し、Fly.ioベースのセキュアなコンテナとspace-name.datasette.cloudサブドメインを受け取る
  • CSV、URL、Socrataベースの政府オープンデータ、SQLiteファイル、Datasette Write JSON APIからデータを取り込み、Web UI上でそのまま編集できる
  • 今後、AI支援クエリ、選択したテーブル・クエリの公開、データ注釈、料金設定が追加される予定で、現在はZoomデモの予約またはプレビューアクセスの申請から始められる

チーム向けのプライベートデータ協業スペース

  • Datasette Cloudは、Datasetteオープンソースプロジェクト向けのSaaSホスティングプラットフォームである
  • チームはデータを扱うプライベートなspaceを作成し、メンバー同士で安全に共有したうえで、一部のデータを外部に公開できる
  • 初期ユーザーはニュースルームを想定している
    • Datasetteはデータジャーナリズムから始まった
    • 記者が独自のホスティング事業者上でDatasetteを自分で設定・運用しなくてもデータを共有できるようにすることが目標である
  • 記者以外の企業や組織もDatasette Cloudを利用できる
  • Datasetteを初めて使うユーザーは、オープンソースプロジェクトのWebサイトでビデオデモやチュートリアルを見ることができる

データの取り込みとアクセス方法

  • 各spaceはユーザーに近いリージョンでホスティングされ、Fly.ioベースの独立したセキュアなコンテナ上で実行される
    • 各spaceにはspace-name.datasette.cloudサブドメインが付与される
    • space管理者は追加メンバーを招待できる
  • チームメンバーは複数の経路でデータを取り込める
    • CSVファイルのアップロードでテーブルを作成
    • URLからCSVファイルを読み込み
    • Socrataベースの政府オープンデータポータルから取り込み
    • SQLiteデータベースファイルのアップロードで新しいデータベースを作成
    • Datasette Write JSON APIを使ったデータ取り込み
  • 取り込んだデータはDatasette CloudのWebインターフェースでインライン編集できる
  • データ探索とAPIアクセスにはDatasetteの既存ツールを活用する
    • フィルタリング、ファセット、SQLクエリ実行、結果のブックマークをサポートするDatasette Webインターフェース
    • Exploring a database with Datasetteでチュートリアルとライブデモを見られる
    • Learn SQL with Datasetteは、SQLでデータをクエリする方法を案内する
    • 細かなAPIトークンで保護されたJSON APIでテーブルへのアクセスとSQLクエリの実行が可能
    • datasette-graphqlプラグインベースのGraphQL APIで表形式データにアクセス可能
  • すべてのデータはFly volumesに安全に保存され、Litestreamを使ってS3にもバックアップされる

今後の機能と始め方

  • 近日追加予定の機能は以下の通り
    • AI支援クエリ: OpenAI ChatGPT、Anthropic Claude、Google Bardの基盤技術である大規模言語モデルを、記者のデータ探索に責任を持って適用する方法を研究しており、llm.datasette.ioで確認できる
    • 選択したテーブルとクエリを外部に公開する機能
    • チームが列と行にコメントを追加し、データ分析の協業やデータの中のストーリー発見を支援するデータ注釈
    • 製品費用を支払えるようにする料金設定
  • ユーザーはZoomデモセッションを予約して初期ユーザーの一人になるか、デモなしでプレビューアクセスを申請できる

関連記事

1件のコメント

 
GN⁺ 2023-08-22
Hacker News のコメント

  • Datasette を内部でデプロイし、一般ユーザーに共有・利用してもらうには大きすぎる研究データ（100MB〜20GB）を多数ホストすることに成功しました。
    以前は、かなり大まかな要約といくつかのデータポイントだけを共有するか、最小限の Django アプリを作るか、Metabase のようなはるかに重いソリューションを使う必要がありました。
    中規模のデータになると、結果をメールで回すことはできず、ネットワーク共有や SharePoint のような顧客が慣れている方法にも限界があり、普通のユーザーは Excel しか使えないため、データが大きいとすぐに行き詰まります。
    今では、ある程度処理済みのほぼすべてのデータを提供し、いくつかのビューと5分未満のチュートリアル（「これは Super Excel で、こうやってフィルタリングします」）を渡すだけで、ユーザーが自分で探索してくれます。
    最初のデプロイ後にログを見ると、普通の研究にもかかわらずユーザーがシステムを猛烈に叩いていて、以前なら面倒をかけたくなくて聞けなかった詳細な質問がどれほど多かったのか考えさせられました。Datasette 以後の質問は、基本的なことは自分で解決した後なので、はるかに洗練されたものになりました。

    • 本当に素晴らしい成功例で、こうしたケーススタディを集めるべきだと思いました。
      「これは Super Excel で、こうやってフィルタリングします」という表現が特に気に入っています。

  • Datasette という名前は何度か聞いたことがありましたが、何に使うのかをきちんと調べたことはありませんでした。
    ランディングページの動画が非常によく説明していて、こういうケースは珍しいです。
    Simon とプロジェクト全体は称賛されるべきですし、クラウドサービスもうまくいくことを願っています。

    • 動画がどこにあるのかわかりません。ブログ記事やホームページをクリックしてみても見当たりません。

  • Datasette は HN ではかなり知られている Simon Willison のオープンプロジェクトで、今回は収益化プロジェクトのように見えます。うまくいって、SoftBank が近いうちに買収してくれることを願っています :-)
    SQLite ファイルをラップして簡単に公開できるようにするツールに近く、SQLite 向けの Tableau のようなものと言えるかもしれません。

    • SoftBank が目標というわけではありません。
      Datasette は私のキャリア全体で初めて、15年後も作業し続けていても退屈しなさそうだと思えるプロジェクトです。核となるアイデアから作れる興味深い応用範囲が本当に広いのです。
      だから何十年も取り組みたいのですが、一人でやるのは孤独ですし、コミュニティが大きくなって楽しくなってきたとはいえ、フルタイムのチームとは違います。
      今解決しようとしている問題は、プロジェクトを長期的に財政的に持続可能にする方法です。私一人だけでなく、一緒に働くチームに給与を払える必要があります。
      WordPress や GitLab のように、オープンソースプロジェクトが SaaS ホスティングで持続可能なビジネスモデルを作った例はすでに多くあり、比較的よく整備された道のように感じています。
      それに、人々に私のソフトウェアを実際に使ってほしいのです。今、個人が Datasette を使うには pip や brew でインストールするか、macOS Electron アプリ https://datasette.io/desktop を使う必要がありますが、私はニュースルームがデータの共同作業に使えるようにしたいと思っています。ほとんどのニュースルームは Linux サーバーの設定に慣れていません。
      ホスティング SaaS 版は、私が重要だと考えているユーザーが実際の価値を得られるよう助けるものであり、プロジェクト全体の財政的持続可能性へ向かう現実的な道筋も提供します。
      もちろん、これでたくさんお金を稼ぎたい気持ちもあります。
    • Datasette を一般の人がより簡単にアクセスして使えるようにするための投資が入るとよいと思います。
      現在のUX と設定は、報道に関心のあるデータハッカー向けに寄っている感じで、標準的なデータ報道やデータジャーナリズムのツールとしてはあまり見えません。
      想定ユーザーがデータハッキング能力を持っていないかもしれない記者なら、始めるまでのハードルをもっと下げる必要があります。
      Datasette は BI ツールでも OSINT ツールでもなく、現時点ではデータ愛好家と調査報道記者の間にある非常に狭いニッチに位置しており、潜在力が大きく制限されています。
      Simon は収益化、特に Datasette Cloud をよりアクセスしやすくする人材の採用を検討すべきです。GUI アプリを作ったのは正しい方向への一歩に見えます。
    • ちょっと皮肉な言い方ではありませんか？

  • 水を差すつもりではないのですが、Datasette の紹介動画を全部見ても、自分が何かを見落としている気がします
    これは実質的に SQL GUI ではないのでしょうか？ ほかの SQL 管理パネルとほとんど同じで、書き込み機能だけがないように見えます
    差別化ポイントは何なのか、拡張機能なのかが気になります

    • MS Access により近いですが、バックエンドが SQLite と Python なので、より合理的な形だと思います
      Excel と Access を無理やりつなぎ合わせて作られた重要なビジネスプロセスは数え切れないほどあり、Datasette はそうした用途にははるかに良い選択肢になり得ます。開発者と業務担当者のどちらも使えるツールです
    • まったく妥当な質問で、5年間考えてきましたが、いまだに一文でぴったり収まる答えはありません
      Datasette が最も得意に解決する問題は、構造化データをオンラインで公開することです
      たとえば世界中の発電所一覧や米国議会の全履歴をオンラインで共有したい場合、CSV をウェブサイト/GitHub/S3 に置く、Django/Rails のようなカスタムアプリを作る、Google Sheet を使う、といった方法があります。Guardian が以前 Google Sheet で解決していた方法は https://simonwillison.net/2018/Aug/19/instantly-publish-data... にあります
      Datasette はもともとこの問題を解決するために作ったもので、SQLite がこれに完璧だと考えました。高速で堅牢であり、読み取り専用データを公開するのであれば、バックアップやレプリケーションのような心配なしに、動的 Web アプリをホストできる場所ならどこにでもデプロイできます
      世界中の発電所の例は https://global-power-plants.datasettes.com/global-power-plan... で、米国議会議員データは https://congress-legislators.datasettes.com/legislators にあります。後者は Datasette のチュートリアル https://datasette.io/tutorials/explore でも使っています
      コマンドラインに慣れているなら、sqlite-utils で CSV を SQLite に入れて整えたうえで、datasette publish vercel と datasette-cluster-map プラグインで公開する方法より速い手段を見つけるのは難しいでしょう
      datasette-publish-vercel プラグインを使う例ですが、Datasette は追加プラグインで Fly、Google Cloud Run、Heroku などにも公開できます: https://docs.datasette.io/en/stable/publish.html
      sqlite-utils でデータを整える部分は https://datasette.io/tutorials/clean-data に詳しくあります
      この5年間で Datasette は公開だけでなく、データをのぞき込み、探索したいときにいつも使うツールになりました。データジャーナリズムの観点では「データから物語を見つける」ことに当たります
      商業的な活用でも、記者がデータから物語を見つける手助けができるなら、ほかの誰もが自分のデータから物語を見つける手助けもできるはずだという強い直感があります
      もう一つの核は プラグイン です。WordPress が優れた CMS であると同時に、1万以上のプラグインでほぼあらゆるコンテンツ公開の問題に対応し、Web の二桁パーセントを占めるようになったのと同じように、Datasette の最も野心的な姿もそれに近いものです
      オープンソースの探索的データ分析（EDA）および公開ツールを作りたいと考えており、何千ものプラグインでデータ探索、分析、可視化、公開の問題を解決できるようにしたいのです
      今はプラグインが127個なので、まだ道のりは長いですが、良い出発点です: https://datasette.io/plugins
      一文に縮めるなら、「Datasette はデータをインタラクティブで検索可能なデータベースとしてオンライン公開する最速の方法」、あるいは「データのための WordPress：探索、分析、可視化、公開のための拡張可能なオープンソースプラットフォーム」と言えます

  • Simon、本当に良さそうですし、うまくいくことを願っています
    ここ数年 Datasette で素晴らしいものをたくさん作ってきたので、強くおすすめします。datasette.cloud もぜひ試してみるつもりです

  • Datasette は素晴らしいです
    前職で複雑な SQL クエリの結果を素早く共有するために、Datasette を社内の Azure クラウド に無理やりデプロイする方法を作ったことがありますが、Simon が自ら .cloud を出したのを見てうれしくなりました

  • Latent Space ポッドキャストで Simon を知ってから、ここ数週間、彼のブログやいくつもの YouTube 動画を見ています
    元記者として データジャーナリズム を学んでみたいと思っていたので、これが公開されたら試してみるかもしれません

  • データジャーナリズムが今やCSVをクラウドにアップロードする形へ進化しているのを見ると興味深い
    以前の I.R.E. コンベンションで最も熱い話題は、9トラックテープからデータを抽出して解読する方法を学ぶことだった
    FOIA の初期には、政府が巨大な9トラックのデータリールに膨大な情報をダンプして「要求に応じた」とし、報道を妨げることがよくあった
    そのような機材や技術力を持つニュースルームはほとんどなく、自力で解決策を見つけるか、支援できる企業・機関を探す必要があった
    I.R.E.: https://www.ire.org/

    • NICAR（National Institute for Computer-Assisted Reporting、IRE 所属）が1980年代に設立され、メインフレームを扱っていたという事実をよく思い出させられる
      データジャーナリズムは新しいものではない

  • Simon は優れた技術者だ
    彼の動画や文章からかなり多くを学んだし、今回の取り組みがうまくいくことを願っている

  • C64 の C2N Datasette テープドライブを指しているのかと思ったが、そうではなくて残念だった
    https://en.m.wikipedia.org/wiki/Commodore_Datasette

    • C64 と Datasette で最初の「データベース」プログラムを書いた
      たぶん7歳くらいの頃で、実際には大したことはしていなかったが、名前は間違いなくそれへのオマージュだ
    • 「Floppy RAID」[1] のような精神を期待していたが、もっと古い技術でさらに馬鹿げた何かだと思っていた
      1: https://youtu.be/1hc52_PWeU8
    • 私も同じものを期待していた
      まだ屋根裏に1531があり、C16の隣に置いてある